在一些网站服务中，除了对 user-agent 的身份信息进行检测、也对客户端的 ip 地址做了限制，如果是同一个客户端访问此网站服务器的次数过多就会将其识别为爬虫，因而，限制其客户端 ip 的访问。这样的限制给我们的爬虫带来了麻烦，所以使用代理 ip 在爬虫中是非常有必要的。要使用代理 ip 进行爬虫就面临两个问题，一是怎么使用、这个就相对简单，另一个是怎么获取这么多的代理 ip。获取代理 ip 可以去代理 ip 的站点购买、也有免费的代理 ip 站点，相对来说买的代理 ip 的质量更高一些，最后，我们可以使用爬虫技术来爬取一些可用的代理 ip 也就是下面主要说的内容。1、怎么使用代理 ip 进行爬虫
12
13try:
14 headers = {
15 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
16 }
17 response = requests.get(url=url, timeout=5, headers=headers)
18 current = response.text
19
20except Exception:
21 print('网页下载失败 ···')
和之前使用请求的形式一样，使用代理 ip 时在请求方法上面加入 proxies 的参数设置为 {"http":"代理ip"} 的字典参数值即可使用代理 ip 对服务器发起请求。
12
13try:
14 headers = {
15 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
16 }
17 response = requests.get(url=url, timeout=5, headers=headers)
18 current = response.text
19
20except Exception:
21 print('网页下载失败 ···')
-
解析网页并提取代理 ip
Python 集中营
分享编程技术、还原编程思想
