注意：抓取内容之前一定要查看下Robots协议

1、准备工作

　　1》第一步，安装python，安装requests、json库。

2、抓取分析

　　1》接下来我们打开网页分析下猫眼电影排行榜

　　2》猫眼电影排行榜的网址（http://maoyan.com/board/4）

　　　

Python如何捕获XHR请求_json

 

　　　　3》拉到最下面，可以看到第一页只有10个，点击下一页

　　　　　　http://maoyan.com/board/4?offset=10，网址变了，添加了offset=10，那也就是说TOP100，offset=10、20、30...

　　　　

Python如何捕获XHR请求_json_02

 

　　　

3、抓取首页

　　开始抓取猫眼电影排行的首页

1 import requests
 2 
 3 
 4 def get_one_page(url):
 5     headers = {
 6         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'   # 代理浏览器
 7             + 'Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
 8     }
 9     response = requests.get(url, headers = headers)   # 响应头
10     if response.status_code == 200:        # 判断是否成功响应
11         return response.text
12     return None
13 
14 def main():
15     url = 'http://maoyan.com/board/4'        # 定义网址
16     html = get_one_page(url)        # 获取对应的HTML
17     print(html)            # 控制台答应HTML
18 
19 main()

 　　截取其中一个的界面　　

Python如何捕获XHR请求_Python如何捕获XHR请求_03

　　上面我们获取到了html，接下来我们尝试提取其中我们想要的内容

 

4、正则提取

　　

1 import requests
 2 import re
 3 
 4 
 5 def get_one_page(url):
 6     headers = {
 7         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'   # 代理浏览器
 8             + 'Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
 9     }
10     response = requests.get(url, headers = headers)   # 响应头
11     if response.status_code == 200:        # 判断是否成功响应
12         return response.text
13     return None
14 
15 def parse_one_page(html):
16     pattern = re.compile(
17             '<dd>.*?board-index.*?>(.*?)</i>.*?src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.'
18             + '*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S   # 正则表达式匹配
19         )
20     items = re.findall(pattern, html)　　　　# 提取匹配项
21     for item in items:
22         yield{
23             'index':item[0],
24             'image':item[1],
25             'title':item[2].strip(),
26             'actor':item[3].strip()[3:],
27             'time':item[4].strip()[5:],
28             'score':item[5] + item[6]
29         }
30 
31 
32 def main():
33     url = 'http://maoyan.com/board/4'        # 定义网址
34     html = get_one_page(url)        # 获取对应的HTML
35     for item in parse_one_page(html):　　　　# 遍历输出
36         print(item)            
37 
38 main()

 

　　我们看下我们抓取第一页后的结果

Python如何捕获XHR请求_html_04

 

5、写入文件

　　抓取完成后，接下来写入文件

1 import requests
 2 import re
 3 import json
 4 
 5 
 6 def get_one_page(url):
 7     headers = {
 8         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'   # 代理浏览器
 9             + 'Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
10     }
11     response = requests.get(url, headers = headers)   # 响应头
12     if response.status_code == 200:        # 判断是否成功响应
13         return response.text
14     return None
15 
16 def parse_one_page(html):
17     pattern = re.compile(
18             '<dd>.*?board-index.*?>(.*?)</i>.*?src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.'
19             + '*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S
20         )
21     items = re.findall(pattern, html)
22     for item in items:
23         yield{
24             'index':item[0],
25             'image':item[1],
26             'title':item[2].strip(),
27             'actor':item[3].strip()[3:],
28             'time':item[4].strip()[5:],
29             'score':item[5] + item[6]
30         }
31 
32 def write_to_file(content):
33     with open('result.txt', 'a', encoding = 'utf-8') as f:
34         f.write(json.dumps(content, ensure_ascii=False) + '\n')
35 
36 def main():
37     url = 'http://maoyan.com/board/4'        # 定义网址
38     html = get_one_page(url)        # 获取对应的HTML
39     for item in parse_one_page(html):
40         print(item)            # 控制台答应HTML
41         write_to_file(item)
42 
43 main()

 

　　看下我们写入的文件，默认在该文件同意目录下

　

Python如何捕获XHR请求_Python如何捕获XHR请求_05

　　到现在为止才抓取到第一页，接下来抓取其他页

6、分页爬取

　　

1 import requests
 2 import re
 3 import json
 4 import time
 5 
 6 
 7 
 8 def get_one_page(url):
 9     headers = {
10         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'   # 代理浏览器
11             + 'Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
12     }
13     response = requests.get(url, headers = headers)   # 响应头
14     if response.status_code == 200:        # 判断是否成功响应
15         return response.text
16     return None
17 
18 def parse_one_page(html):
19     pattern = re.compile(
20             '<dd>.*?board-index.*?>(.*?)</i>.*?src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.'
21             + '*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S
22         )
23     items = re.findall(pattern, html)
24     for item in items:
25         yield{
26             'index':item[0],
27             'image':item[1],
28             'title':item[2].strip(),
29             'actor':item[3].strip()[3:],
30             'time':item[4].strip()[5:],
31             'score':item[5] + item[6]
32         }
33 
34 def write_to_file(content):
35     with open('result.txt', 'a', encoding = 'utf-8') as f:
36         f.write(json.dumps(content, ensure_ascii=False) + '\n')
37 
38 def main(offset):
39     url = 'http://maoyan.com/board/4?offset=' + str(offset)        # 定义网址
40     html = get_one_page(url)        # 获取对应的HTML
41     for item in parse_one_page(html):
42         print(item)            # 控制台答应HTML
43         write_to_file(item)
44 
45 if __name__ == '__main__':
46     for i in range(10):
47         main(offset=i * 10)
48         time.sleep(1)

 

　　这样就把所有的内容爬取下来了

　　

Python如何捕获XHR请求_json_06

　　我们看下我们的result.txt文件

　　

Python如何捕获XHR请求_HTML_07

 

7、整合代码

　　最后一步，所有的代码整合下

　　

1 import requests
 2 import re
 3 import json
 4 import time
 5 from requests.exceptions import RequestException
 6 
 7 
 8 def get_one_page(url):
 9     try:
10         headers = {
11             'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'   # 代理浏览器
12                 + 'Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
13         }
14         response = requests.get(url, headers = headers)   # 响应头
15         if response.status_code == 200:        # 判断是否成功响应
16             return response.text
17         return None
18     except RequestException:
19         return None
20 
21 def parse_one_page(html):
22     pattern = re.compile(
23             '<dd>.*?board-index.*?>(.*?)</i>.*?src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.'
24             + '*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S
25         )
26     items = re.findall(pattern, html)
27     for item in items:
28         yield{
29             'index':item[0],
30             'image':item[1],
31             'title':item[2].strip(),
32             'actor':item[3].strip()[3:],
33             'time':item[4].strip()[5:],
34             'score':item[5] + item[6]
35         }
36 
37 def write_to_file(content):
38     with open('result.txt', 'a', encoding = 'utf-8') as f:
39         f.write(json.dumps(content, ensure_ascii=False) + '\n')
40 
41 def main(offset):
42     url = 'http://maoyan.com/board/4?offset=' + str(offset)        # 定义网址
43     html = get_one_page(url)        # 获取对应的HTML
44     for item in parse_one_page(html):
45         print(item)            # 控制台答应HTML
46         write_to_file(item)
47 
48 if __name__ == '__main__':
49     for i in range(10):
50         main(offset=i * 10)
51         time.sleep(1)　　　　# 休息1秒，防止抓取数据太快，被封IP

 

　　　以上呢，利用正则表达式抓去了猫眼电影Top100

8、总结分析

　　如果我们需要抓取某些TOP排行榜的网站，我们可以利用requests库，json库。。。去抓取

　　1、首先获取首页

　　2、分析首页，利用正则表达式，匹配自己需要的信息

　　3、分页抓取我么所需要的内容

　　4、遍历写入到文件

　　这样就算是大功告成了