前言：
在掌握一些基础的爬虫知识后，就可以尝试做一些简单的爬虫来练一练手。今天要做的是利用xpath库来进行简单的数据的爬取。我们爬取的目标是电影的名字、导演和演员的信息、评分和url地址。
准备环境：Pycharm、python3、爬虫库request、xpath模块、lxml模块
第一步：分析url ,理清思路
先搜索豆瓣电影top250，打开网站可以发现要爬取的数据不止存在单独的一页，而是存在十页当中，这时应该怎么做呢？
首先观察：
第一页的
url:https://movie.douban.com/top250?start=0&filter=
第二页的
url:https://movie.douban.com/top250?start=25&filter=
第三页的
url:https://movie.douban.com/top250?start=50&filter=
可以得出一个结论每页的url是有规律的，start后面的数字等于页数减一乘以五。这样就可以用一个循环来爬取。
图1.1
再来就是通常的头部信息，第一步如下图所示：
图1.2
第二步：发送请求，利用xpath处理数据
Xpath可以通过节点来快速获取需要的信息，并把它提取出来。先打开浏览器的开发者工具。发现所有的电影数据都存放在div[@class="info"]的标签里，通过一级一级的获取，就可以得到想要的信息。可以直接来利用开发者工具的copy,来copy xpath的路径，但一般不推荐，因为很可能出错。
图2.1
如图所示：
图2.2
第三步：保存数据
我们可以用csv来保存数据
图3.1
代码如下：
|
import requests |
总结：
这次爬取豆瓣的反爬虫机制较少，很适合一些学习爬虫知识的小白来练一练手。提高爬虫实战的能力。
END
