异步爬虫

  • 目的：在爬虫中使用异步实现
  • 实现方式：
  1. 多进程，多线程（不建议）
  • 好处：可以为相关阻塞单独开启线程或者进程，阻塞操作就可以异步执行
  • 弊端：无法无限制开启多线程或者多进程
  1. 进程池：（适当使用）
  • 好处：可以减低系统对进程创建和销毁的一个频率，从而很好的减低系统的开销
  • 弊端：进程池线程或进程的数量是有限的
  • 实例：
import time
from multiprocessing.dummy import Pool
start_time=time.time()
def get_page(str):
    print('正在下载：',str)
    time.sleep(2)
    print('下载成功',str)
name_list=['aa','bb','cc']
#实例化线程池对象
pool=Pool(4)
#将每一个name_list里面的数据传递给get_page处理
pool.map(get_page,name_list)
end_time=time.time()
print("%d second"%(end_time-start_time))
  1. 单线程+异步协程（推荐）
  • event_loop:事侏循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行。
  • coroutine:协程对象，我们可以将协程对象注册到事件循环中，它会被事件循环调用。我们可以使用async 关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象。
  • task:任务，它是对协程对象的进一步封装，包含了任务的各个状态。
  • future:代表将来执行或还没有执行的任务，实际上和task没有本质区别.
  • async定义一个协程.
  • await用来挂起阻塞方法的执行。
  • 协程用法：
import asyncio
async def request(url):
    print('正在请求：',url)
    print('请求成功：',url)
    return url
#asunc修饰的函数，调用之后返回一个协程对象
c=request('www.baidu.com')
#创建一个事件循环对象
# loop=asyncio.get_event_loop()
# #将协程对象注册到loop中，然后启动loop
# loop.run_until_complete(c)
#task使用
loop=asyncio.get_event_loop()
#基于loop创建了一个task对象
# task=loop.create_task(c)
# print(task)
# loop.run_until_complete(task)
#future使用
# loop=asyncio.get_event_loop()
# task=asyncio.ensure_future(c)
# print(task)
# loop.run_until_complete(task)
# print(task)
def callback_func(task):
    #打印协程函数的返回值
    print(task.result())
#绑定回调
loop=asyncio.get_event_loop()
task=asyncio.ensure_future(c)
# 将回调函数绑定到任务对象中
task.add_done_callback(callback_func)
loop.run_until_complete(task)
  • 协程实例：
import asyncio
import time

async  def request(url):
    print('正在下载',url)
    #在异步协程中如果出现了同步模块相关的代码，那么久无法实现异步
    # time.sleep(2)
    #当在asyncio中欲打破阻塞操作时必须进行手动挂起
    await asyncio.sleep(2)
    print('下载完毕',url)
start=time.time()
urls=[
    'www.baidu.com',
    'www.sogou.com',
    'www.goubanjia.com'
]
stasks=[]
for url in urls:
    c=request(url)
    task=asyncio.ensure_future(c)
    stasks.append(task)
loop=asyncio.get_event_loop()
#多任务列表要封装wait()
loop.run_until_complete(asyncio.wait(stasks))
print(time.time()-start)
  • 协程aiohttp模块
  • 模块安装：pip install aiohttp
  • 实现异步爬虫
import requests
import asyncio
import time
import aiohttp
# 使用该模块的ClientSession
start=time.time()
urls=[
    'http://baidu.com',
    'http://sogou.com',
    'http://baidu.com',
]
async def get_page(url):
    print('正在下载',url)
    # requests模块基于同步
    # aiohttpj基于异步网络请求
    # response=requests.get(url=url)
    async with aiohttp.ClientSession() as session:
        # async  with await session.post(url) as response:post请求
        # UA伪装方式和请求参数处理以及代理ip和requests库一样，但ip赋值为字符串，不再是字典
      async  with await session.get(url) as response:
          # text()返回字符串的响应数据
          # read()返回的是二进制的响应数据
          # json()返回的就是json类型的数据
          # 注意：在获取响应数据之前一定要使用await进行手动挂起
          page_text=await response.text()
    print('下载完毕', page_text)
tasks=[]
for url in urls:
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)
loop=asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time()-start)