js加密.混淆+移动端数据的爬取(抓包工具)fiddler

分析:

1.点击不同气象指标的选项卡,发现没有相关的请求发送,说明当页面加载出来的时候,所有的气象数据已经加载完毕。

2.数据是否为动态加载

数据是动态加载出来的

3.修改查询的条件(城市的切换,时间的修改),点击搜索按钮就会加载出新数据。

4.在抓包工具的XHR中捕获到了两个数据包

url一样

都有一个d这样的请求参数

两个数据包的请求参数d的数据值不同

d这个请求参数是经过加密且动态变化

处理动态变化且加密的请求参数d

对请求参数d进行全局搜索(不可行)

点击页面中的搜索按钮后,在抓包工具中就捕获到了那两个ajax请求的数据包

点击按钮发起ajax请求,找按钮的点击事件(click)

借助火狐浏览器的开发者工具进行按钮点击事件的定位

getData()js函数

分析getData这个js函数的实现:目的就是为了找到ajax请求对应的js代码

type=="HOUR":按照小时为时间单位进行查询

并没有在该函数的实现中发现ajax请求对应的代码,但是发现了另外的两个函数调用getAQIData();getWeatherData();

分析getWeatherData();和getAQIData()这两个函数的定义,想要去找打ajax请求对应的代码:

这两个函数实现的区别:

method变量赋值的字符串不一样

GETDETAIL

GETCITYWEATHER

相同:

都没有出现ajax请求对应的代码,但是发现了另一个函数的调用:

getServerData(method,param,匿名函数,0.5)

method:GETDETAIL或者GETCITYWEATHER

param:字典,有四组键值对

city:查询城市的名称

type:HOUR

startTime:查询开始的时间

endTIme:查询结束的时间

分析getServerData(method,param,匿名函数,0.5)这个函数的实现,还是为了找打ajax请求对应的代码:

基于抓包工具的全局搜索才可以找到

发现这个函数的实现代码看不懂,函数的实现好像是一组密文

说明:网站对js函数的实现加密

JS混淆:对js函数的实现代码进行加密

JS反混淆:将加密的js代码解密成原文

分析getServerData函数的实现:

终于找到了ajax请求对应的代码

参数d的构成:getParam(method, object)返回

method:method

object:param字典,四个键值分别是城市名称。type,起始时间,结束时间

请求到的密文数据的解密方式:

decodeData(data):data参数就是响应的密文数据,返回值就是解密后的原文数据

JS逆向:

使用 PyExecJS 库来实现模拟JavaScript代码执行。

环境的安装:

pip install PyExecJS

必须还要安装nodeJs的开发环境

请求到加密的响应数据

将加密的响应数据进行解密

获取动态变化且加密的请求参数(d)

实例代码

import execjs
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}
node = execjs.get()
file = 'test.js'
ctx = node.compile(open(file,encoding='utf-8').read())
#如何五个变量会作为getPostParamCode的参数
method = 'GETDETAIL'#GETCITYWEATHER
city = '北京'
type = 'HOUR'
start_time = '2018-01-25 00:00:00'
end_time = '2018-01-25 23:00:00'
#模拟执行getPostParamCode函数
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)
# print(params)#请求参数d
url = 'https://www.aqistudy.cn/apinew/aqistudyapi.php'
data = {
'd':params
}
#获取了加密的响应数据
response_code = requests.post(url=url,headers=headers,data=data).text
# response_code
#模拟执行decodeData函数对密文数据进行解密
js = 'decodeData("{0}")'.format(response_code)
page_text = ctx.eval(js)
print(page_text)

移动端数据的爬取

常用的抓包工具:本质就是一款代理服务器,适用于实现请求和相应的拦截

fiddler

默认只可以抓起http协议的请求和相应

https:

tools-》options-》https-》detrypt HTTPS traffic

含义:将fiddle的证书安装到本地

青花瓷

miteproxy

移动端数据的爬取

配置相关的环境

fiddler的配置:

tools-》options-》connections->allow remote conxxx

查看fiddler的端口号,并且记住端口号

测试配置是否生效:

在电脑的浏览器访问:http://localhost:端口号/,如果可以访问成共则表示配置成功

网络设置:

fiddler所在的电脑开启一个热点,手机连接热点

保证手机和电脑同处于同一个网段

在手机中安装fiddler的证书

手机浏览器访问:

点击下载证书的链接,进行证书下载

在手机中新任且安装证书

开启手机网络代理

wifi-》点击感叹号-》开启代理-》代理的ip就是电脑的ip,端口就是fiddler的端口

appnium是一个基于手机应用自动化的模块