有些时候,我们使用爬虫下载图片,视频什么的,而下载这些文件都是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载这类文件。


多线程是为了同步完成多项任务,通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。


最简单的比喻多线程就像火车的每一节车厢,而进程则是火车。车厢离开火车是无法跑动的,同理火车也可以有多节车厢。多线程的出现就是为了提高效率。同时它的出现也带来了一些问题。


通常需要用爬虫的场景都需要并发或并行,也就离不开进程、线程或协程,我们接下来通过爬取1000条文章来看看异步爬虫与同步爬虫的差距。


异步爬虫代码:

import asyncio
import json
import aiohttp


from typing import List, Optional
from datetime import datetime


class Spider:
def __init__(self, urls: List[str], headers: Optional[dict] = None, cookie: Optional[str] = None):
self.urls = urls
self.headers = headers
self.cookies = None if cookie else {'cookie': cookie}


self.loop = asyncio.get_event_loop()


self.result = list()


def excute(self):
self.loop.run_until_complete(self.spiders())
self.loop.close()


with open('main.json', 'w') as f:
json.dump(self.result, f)


async def spiders(self):
semaphore = asyncio.Semaphore(250)
spider = [self.run(url, semaphore) for url in self.urls]
await asyncio.wait(spider)


async def run(self, url, semaphore):
async with semaphore:
async with aiohttp.ClientSession(loop=self.loop, headers=self.headers, cookies=self.cookies) as session:
async with session.get(url) as response:
text = await response.text()
self.result.append(json.loads(text))


if __name__ == "__main__":
urls = []
for i in range(1, 1001):
urls.append(f'http://httpbin.org/anything?page={i}')
s = Spider(urls)
start = datetime.now()
s.excute()
end = datetime.now()


print("多线程")
print((end - start).total_seconds(), "秒")


同步爬虫代码:

import json
import requests


from datetime import datetime


if __name__ == "__main__":
start = datetime.now()
result = []
for i in range(1, 1001):
url = f'http://httpbin.org/anything?page={i}'
result.append(requests.get(url).json())


with open('test.json', 'w') as f:
json.dump(result, f)


end = datetime.now()
print("同步")
print((end - start).total_seconds(), "秒")


从结果来看,在爬取1000条链接的场景中,异步爬虫效率是同步爬虫的30多倍。

# # 异步
# 26.43秒
# # 同步
# 621.35秒


资源消耗相对较小,效率提升却如此巨大,所以在以后的爬虫中,还是推荐大家使用多线程,多进程之类的用来提高工作效率。


以上就是今天给大家分享的内容,源代码获取请回复“多线程对比”。有兴趣的朋友,可以尝试一下多线程和多进程的效率对比,看看多进程和多线程的区别。


更多精品教程请关注公众号SpiderBy回复Python教程”,即可获取*智基础+就业班课程