在app运营过程中,有时候我们需要了解app中的一些数据,比如:我们自己开的网店,有时候app官方提供的数据并不能满足我们的实际需求,这时就需要使用工具来自动抓取我们自己店铺中有用的数据。一般有两种实现方法,一种是直接请求api接口获取目标数据;另一种是模拟人工操作浏览app页面,然后搜集相关数据。下面就分别介绍两种实现技术方案。

模拟人工操作浏览app页面自动抓取app数据

模拟人工操作自动浏览app来抓取app,最核心的就是app自动化,也即:不需人工干预,自动操作app。下面以冰狐智能辅助为例,来讲解如何使用app自动化来实现自动抓取app数据。

冰狐智能辅助

是一个让不懂编程的"小白"或者编程初学者在极短时间内、以最小成本实现各种app自动化功能的开发平台。不需人工干预即可实现自动操控任何app,可用于制作app自动化工具、智能辅助、效率工具等。譬如:自动化测试、自动化运营、智能机器人、自动签到等等。具体实现步骤如下:

1.下载并安装冰狐智能辅助app

  • 注册冰狐智能辅助账号
  • 准备android手机一台
  • 在android手机中安装并登录冰狐智能辅助app

2.业务逻辑梳理

以拼多多为例:

目标:获取拼多多中价格小于1.6的商品

  1. 启动拼多多
  2. 循环浏览商品列表
  3. 挑选价格小于1.6的商品

3.使用自动构建来自动生成脚本

自动构建可以不写一行代码,仅仅通过配置模块参数就可以实现app自动化,自动获取app数据。

请求api接口抓取app数据

请求api来抓取app数据最核心的是分析出获取数据的api接口参数,然后在电脑或者手机中模拟调用,最后把结果中有用的数据抽取出来。具体步骤如下:

1.使用fiddler抓取app数据包

Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据
fiddler下载:Fiddler | Web Debugging Proxy and Troubleshooting Solutions fiddler的安装就不用多说了,傻瓜是安装。

fiddler是基于代理来实现抓取网络数据包的工作的,当我们开启fiddler以后,fiddler会将我们的浏览器的代理默认进行更改为127.0.0.1 端口是8888,这时fiddler的默认端口,也就是说我们发送的每一个请求和收到的每一个响应都会先经过fiddler,这样就实现了抓取数据包的工作。

fiddler是一个很方便的抓取网络数据包的工具,他是基于代理的方式来实现的。
注意:

  • 关闭电脑的防火墙
  • 如果需要抓取手机app的数据包,需要手机和电脑在都连接同一个无线网络
  • 抓完包以后将fiddler关闭(提高访问网络的速度)同时将手机上的代理关闭 (如果不关闭代理,当fiddler关闭,或者是两者连接的不是同一无线网络,手机会不能正常的访问网络)

2.分析接口数据

抓到数据后,要分析出各个参数的含义,以便于后面修改,

3.模拟请求api

可以使用postman或者其他开发工具(比如冰狐智能辅助)写js代码来请求api,注意参数一定要准确,否则可能失败。

两种方案优缺点对比分析

模拟人工操作(app自动化)方案特点:

  • 成本低,仅需一台androd手机即可。
  • 没有法律风险,由于是自己模拟人工浏览app,所以法律风险小。
  • 门槛极低,不需要写代码就可以搞定。
  • 快速搞定,因为不需要写代码和调试,所以能很快搞定。

请求api方案特点:

  • 门槛高,需要懂编程,而且要精通才可以。
  • 需要写代码和调试,所以开发的时间比较长。
  • 有法律风险,请求api是一种非法调用。
  • 请求api获取的数据很有可能被加密过,如果加密过的话,基本上就搞不定啦。