在app运营过程中,有时候我们需要了解app中的一些数据,比如:我们自己开的网店,有时候app官方提供的数据并不能满足我们的实际需求,这时就需要使用工具来自动抓取我们自己店铺中有用的数据。一般有两种实现方法,一种是直接请求api接口获取目标数据;另一种是模拟人工操作浏览app页面,然后搜集相关数据。下面就分别介绍两种实现技术方案。
模拟人工操作浏览app页面自动抓取app数据
模拟人工操作自动浏览app来抓取app,最核心的就是app自动化,也即:不需人工干预,自动操作app。下面以冰狐智能辅助为例,来讲解如何使用app自动化来实现自动抓取app数据。
冰狐智能辅助
是一个让不懂编程的"小白"或者编程初学者在极短时间内、以最小成本实现各种app自动化功能的开发平台。不需人工干预即可实现自动操控任何app,可用于制作app自动化工具、智能辅助、效率工具等。譬如:自动化测试、自动化运营、智能机器人、自动签到等等。具体实现步骤如下:
1.下载并安装冰狐智能辅助app
- 注册冰狐智能辅助账号
- 准备android手机一台
- 在android手机中安装并登录冰狐智能辅助app
2.业务逻辑梳理
以拼多多为例:
目标:获取拼多多中价格小于1.6的商品
- 启动拼多多
- 循环浏览商品列表
- 挑选价格小于1.6的商品
3.使用自动构建来自动生成脚本
自动构建可以不写一行代码,仅仅通过配置模块参数就可以实现app自动化,自动获取app数据。
请求api接口抓取app数据
请求api来抓取app数据最核心的是分析出获取数据的api接口参数,然后在电脑或者手机中模拟调用,最后把结果中有用的数据抽取出来。具体步骤如下:
1.使用fiddler抓取app数据包
Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据
fiddler下载:Fiddler | Web Debugging Proxy and Troubleshooting Solutions fiddler的安装就不用多说了,傻瓜是安装。
fiddler是基于代理来实现抓取网络数据包的工作的,当我们开启fiddler以后,fiddler会将我们的浏览器的代理默认进行更改为127.0.0.1 端口是8888,这时fiddler的默认端口,也就是说我们发送的每一个请求和收到的每一个响应都会先经过fiddler,这样就实现了抓取数据包的工作。
fiddler是一个很方便的抓取网络数据包的工具,他是基于代理的方式来实现的。
注意:
- 关闭电脑的防火墙
- 如果需要抓取手机app的数据包,需要手机和电脑在都连接同一个无线网络
- 抓完包以后将fiddler关闭(提高访问网络的速度)同时将手机上的代理关闭 (如果不关闭代理,当fiddler关闭,或者是两者连接的不是同一无线网络,手机会不能正常的访问网络)
2.分析接口数据
抓到数据后,要分析出各个参数的含义,以便于后面修改,
3.模拟请求api
可以使用postman或者其他开发工具(比如冰狐智能辅助)写js代码来请求api,注意参数一定要准确,否则可能失败。
两种方案优缺点对比分析
模拟人工操作(app自动化)方案特点:
- 成本低,仅需一台androd手机即可。
- 没有法律风险,由于是自己模拟人工浏览app,所以法律风险小。
- 门槛极低,不需要写代码就可以搞定。
- 快速搞定,因为不需要写代码和调试,所以能很快搞定。
请求api方案特点:
- 门槛高,需要懂编程,而且要精通才可以。
- 需要写代码和调试,所以开发的时间比较长。
- 有法律风险,请求api是一种非法调用。
- 请求api获取的数据很有可能被加密过,如果加密过的话,基本上就搞不定啦。