使用python爬虫爬取

一个免费的小说网站

公众号回复 土豪小说 获取源代码


看效果：

python爬虫爬取--‘土豪小说’_for循环

python爬虫爬取--‘土豪小说’_公众号_02


教程：

首先打开网站，随便打开一个小说

网站：
https://www.yeziwx.com/book/diyichonghunguxianshengbieshangyin/#:~:text=%E3%80%8A%E7%AC%AC%E4%B8%80%E5%AE%A0%E5%A9%9A%E9%A1%BE%E5%85%88%E7%94%9F%E5%88%AB%E4%B8%8A%E7%98%BE%E3%80%8B%E6%98%AF%E7%94%B1%E4%BD%9C%E8%80%85%E4%B8%B0%E5%AE%B6%E5%B0%8F%E4%B8%83%E7%BC%96%E5%86%99%E7%9A%84%E4%B8%80%E9%83%A8%E5%B0%8F%E8%AF%B4%EF%BC%8C%E7%9B%AE%E5%89%8D%E6%AD%A3%E5%9C%A8%E8%BF%9E%E8%BD%BD%E5%BD%93%E4%B8%AD%EF%BC%8C%E4%B8%BB%E8%A7%92%E6%98%AF%EF%BC%8C%E5%B0%8F%E8%AF%B4%E7%9A%84%E6%95%85%E4%BA%8B%E4%B8%BB%E8%A6%81%E8%AE%B2%E8%BF%B0%E4%BA%86,%E5%A4%8F%E5%A4%AE%E5%A4%AE20%E5%B2%81%E7%9A%84%E7%94%9F%E6%97%A5%E7%A4%BC%E7%89%A9%E6%98%AF%E7%94%B7%E5%8F%8B%E5%92%8C%E9%97%BA%E8%9C%9C%E6%8D%89%E5%A5%B8%E5%9C%A8%E5%BA%8A%EF%BC%8C%E5%A5%B9%E8%BD%AC%E8%BA%AB%E5%B0%B1%E5%92%8C%E4%B8%B0%E5%9F%8E%E6%9C%80%E9%87%91%E8%B4%B5%E7%9A%84%E7%94%B7%E4%BA%BA%E9%A1%BE%E7%A5%81%E7%90%9B%E9%A2%86%E4%BA%86%E8%AF%81%EF%BC%8C%E4%BB%8E%E6%AD%A4%E4%B8%80%E8%B7%AF%E6%89%93%E6%80%AA%E5%8D%87%E7%BA%A7%EF%BC%8C%E6%89%80%E5%90%91%E6%97%A0%E6%95%8C%E3%80%82

python爬虫爬取--‘土豪小说’_EF_03

可以看到页面里显示了全部的文章

按f12打开开发者模式

python爬虫爬取--‘土豪小说’_公众号_04

数据就在页面源码里面

里面包含了章节链接和标题


然后我们访问链接获取源码

python爬虫爬取--‘土豪小说’_公众号_05

这里用xpath

把包含所有信息的dd标签提取出来

返回一个列表

然后for循环这个列表

访问链接获取代码

python爬虫爬取--‘土豪小说’_for循环_06

python爬虫爬取--‘土豪小说’_for循环_07

获取到链接的源码之后

把标题和内容提取出来

然后进行保存

python爬虫爬取--‘土豪小说’_EF_08

看效果：

python爬虫爬取--‘土豪小说’_for循环


公众号回复 土豪小说 获取源代码

代码仅供学习参考

感谢观看！