用python爬虫 改变网页js python网页爬虫案例

文章目录

• 一、网页查看
• 二、网页爬取数据分析
• 三、代码分析
• 四、图片辅助分析
• 五、运行结果
• 独家福利降临！！！

更多博主开源爬虫教程目录索引

一、网页查看

进入网页模板

多页爬取

---

二、网页爬取数据分析

---

三、代码分析

数据爬取部分

# 使用etree进行数据解析
tree = etree.HTML(page_text)

#参考图1，使用xpath语法根据id定位，定位后拿到下面的所有div标签下的a标签的href属性
#所有详情页url
a_list = tree.xpath("//div[@id='container']//div/a/@href")
#遍历详情页url
for a_li in a_list:
    # 发起详情页请求
    moban_data = requests.get(url=a_li, headers=headers)
    moban_data.encoding = "utf-8"

	#解析网页
    tree2 = etree.HTML(moban_data.text)
    #下载的url，参考图2
    rar_down = tree2.xpath("//div[@class='downbody']//div[@class='dian'][2]/a[1]/@href")
    #网页模板名称，参考图3
    rar_name = tree2.xpath("//div[@class='text_wrap']/h2/a/text()")[0]
    
    #rar_down是一个列表
    DownRar(rar_down[0], rar_name)

多页爬取部分

#多页爬取
for i in range(1,11):
	 #如果是第一页
     if i == 1:
         url = "http://sc.chinaz.com/moban/index.html"
     #不是第一页
     else:
         url = "http://sc.chinaz.com/moban/index_" + str(i) + ".html"

---

四、图片辅助分析

图1

图2

图3

五、运行结果

---