前言

首先简单的介绍一下一些网站以及一些手机app的原理,很多网站和手机app基本都是先把架子写好,然后往架子里填充数据,然而这些数据基本都是通过手机app或者网站向服务器发起请求,之后服务器返回json或者xml数据,然后网站或者手机app对数据进行解析到各个地方。之前我写过的一个微信小程序经纬我查查就是通过这种方式来操作的,通过小程序获取用户当前的地址,之后将地址传到服务器进行坐标转换再将结果传回解析到相应的位置。

1.设置Fiddler

先去官方网站下载一个fiddler,具体怎么下载就不说了,下边直接开始说关于如何设置的问题。


ios如何爬取 爬取app内容_ios如何爬取


找到tools之后打开,选择connections,将图中标记的选项打对


ios如何爬取 爬取app内容_list怎么取数据_02


之后再去HTTPS,将相应的内容打对,因为访问HTTPS网站需要下载专门的证书


ios如何爬取 爬取app内容_list怎么取数据_03


上的边操作完之后点击ok即可。

2.对手机进行设置

我拿了一个iphone举例子,android机的操作也是类似的,找到无线局域网点圈的位置,android是记入高级设置(要确保计算机和手机在同一局域网内)。


ios如何爬取 爬取app内容_知乎_04


进入之后将HTTP代理调成手动,相应的位置输入相应的内容(电脑ip可以打开cmd输入ipconfig有一个ipv4就是计算机局域网内的ip)


ios如何爬取 爬取app内容_知乎_05


之后用浏览器地址栏输入:电脑ip:8888,会到下列页面,点击圈内的内容即可。


ios如何爬取 爬取app内容_手机app_06


之后安装证书即可


ios如何爬取 爬取app内容_list怎么取数据_07


安装完了之后重新连接一下wifi就可以在fiddler内进行抓包了。

3.抓包

打开fiddler之后,在手机上打开知乎app,之后在fiddler内会出现很多http连接


ios如何爬取 爬取app内容_HTTPS_08


找前边标志位json的


ios如何爬取 爬取app内容_HTTPS_09


挨个找找,最后发现第二个里边有很多的东西,看起来密密麻麻挺麻烦的,一般会有两个框,第一个大框是request(你向服务器发出的请求,忽略即可),第二个大框是response(服务器返回的内容,有价值)看到里边基本都是/x0a之类的你就要立刻反应出这是unicode编码(详情可以百度)。


ios如何爬取 爬取app内容_ios如何爬取_10


之后你复制一下文本,打开unicode转码,将这些代码复制进去猛然发现,这不就是我们要爬取的东西吗?


ios如何爬取 爬取app内容_手机app_11


 

 

拿到网址之后赶紧放到浏览器里试一下看看有什么收获


ios如何爬取 爬取app内容_HTTPS_12


4.爬取

开始写爬虫


ios如何爬取 爬取app内容_手机app_13


爬取结果


ios如何爬取 爬取app内容_知乎_14


ios如何爬取 爬取app内容_HTTPS_15