文章目录

  • 1、概述
  • 2、实例


1、概述

高性能异步爬虫

目的：在爬虫中使用1异步实现高性能的数据爬取操作。

异步爬虫的方式：

  • 多线程，多进程（不建议）：
    好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作就可以异步执行。
    弊端：无法无限制的开启多线程或者多进程
  • 线程池、进程池（适当的使用）：
    好处：我们可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。
    弊端：池中线程或进程的数量是有上限的。

2、实例

下面我们进行讲解

我们直接拿到这三个div标签的父标签下的所有a标签然后遍历

a_list = div_data.find(class_="vervideo-blist-bd recommend-btbg clearfix").find_all("a")

但是这些a标签中不仅只有视频url，所以遍历的时候我们需要进行判断

python 线程池gpu python 线程池爬虫作用_python 线程池gpu

if str(a["href"]).split("_")[0] == "video":
	#获取的url不是完整的，我们需要拼接
    page_url = "https://www.pearvideo.com/" + a["href"]
else:
    continue

接下来，我们对详情页发起请求，获取到真正视频的URL

我们可以发现，视频url就是video标签的src属性，但经过博主实践后发现，这是骗人的


一番研究后发现，真正的视频URL在页面源码的script中

python 线程池gpu python 线程池爬虫作用_线程池_02


这样看来需要使用正则来获取了

ex = 'srcUrl="(.*?)",vdoUrl'
#获取的数据是列表形式，并且只有一个元素就是视频url
video_url = re.findall(ex, page_response.text)[0]

然后就是视频下载了

#对视频发起请求获取二进制数据
data = requests.get(dic["url"],headers=headers).content
with open(dic["name"],"wb") as f:
    f.write(data)

当然我们使用的是线程池的方式

pool = Pool(4)
pool.map(Download_video,urls)

pool.close()  #关闭
pool.join() #让主线程等待子线程结束之后再结束

map(func, *iterables, timeout=None, chunksize=1)：该函数类似于全局函数 map(func, *iterables)，只是该函数将会启动多个线程，以异步方式立即对 iterables 执行 map 处理。

花费时间如下，由于今天网速不咋滴，看起来还是很慢的，给位小伙伴可以自己去运行试试。

python 线程池gpu python 线程池爬虫作用_线程池_03