已经正确地实现豆瓣图书Top250的抓取工作，并存入excel中，但是很不幸，由于采用的串行爬取方式，每次爬完250页都需要花费7到8分钟，显然让人受不了，所以必须在效率上有所提升才行。
仔细想想就可以发现，其实爬10页（每页25本），这10页爬的先后关系是无所谓的，因为写入的时候没有依赖关系，各写各的，所以用串行方式爬取是吃亏的。显然可以用并发来加快速度，而且由于没有同步互斥关系，所以连锁都不用上。
既然考虑并发，那么就有多进程和多线程两种方式，各自的优缺点比较可以见：这里
简单来说，多进程稳定，因为一个进程挂掉其他进程不受影响，但是开销大，建立太多进程会消耗系统大量资源，并且切换慢，因为要通过系统进程调度。
多线程作为“轻量级的进程”，是操作系统调度的基本单位，切换快速，只消耗极少的资源，但是缺点就是一个线程崩掉整个进程包括其他线程都会崩掉，所以稳定性欠佳。
这里虽然进程数/线程数很少（只有10个），即使采用多进程也不会有多大的开销，但是为了更快地爬取，且爬取豆瓣这样的大站，稳定性不会太差，所以还是采用多线程比较实惠。
多线程有两个模块，一个Thread模块，一个threading模块，但是前者现在用的很少了，后者更加方便实用。所以采用后者。
在程序中实用线程有两种方法，一种是自己写一个class，并重写此class中的__init__方法和run()方法，创建一个这个class的对象并调用start()时run()方法自动调用。另一种是在threading.Thread构造函数中传入要用线程运行的函数及其参数。我采用的是后者。
多线程主代码如下：
thread = []
for i in range(0,250,25):
geturl = url + "/start=" + str(i) #要获取的页面地址
print("Now to get " + geturl)
t = threading.Thread(target=crawler,
args=(s,i,url,header,image_dir,worksheet,txtfile))
thread.append(t)
for i in range(0,10):
thread[i].start()
for i in range(0,10):
thread[i].join()
以前的爬取和存储函数写到了crawler中，具有7个参数。将10页的url都放入thread列表中，然后逐个启动，启动后调用join()等待每一个线程结束，如果不等待的话，会发现有的已经运行到下面关闭文件了，那么别的没运行完的就写不了了。
更改和简化后的全部代码如下：
# -*- coding:utf-8 -*-
import requests
import re
import xlsxwriter
from bs4 import BeautifulSoup
from datetime import datetime
import codecs
import threading
#下载图片
def download_img(imageurl,image_dir,imageName = "xxx.jpg"):
rsp = requests.get(imageurl, stream=True)
image = rsp.content
path = image_dir + imageName +'.jpg'
with open(path,'wb') as file:
file.write(image)
def crawler(s,i,url,header,image_dir,worksheet,txtfile):
postData = {"start":i} #post数据
res = s.post(url,data = postData,headers = header) #post
soup = BeautifulSoup(res.content.decode(),"html.parser") #BeautifulSoup解析
table = soup.findAll('table',{"width":"100%"}) #找到所有图书信息的table
sz = len(table) #sz = 25,每页列出25篇文章
for j in range(1,sz+1): #j = 1~25
sp = BeautifulSoup(str(table[j-1]),"html.parser") #解析每本图书的信息
imageurl = sp.img['src'] #找图片链接
bookurl = sp.a['href'] #找图书链接
bookName = sp.div.a['title']
nickname = sp.div.span #找别名
if(nickname): #如果有别名则存储别名否则存’无‘
nickname = nickname.string.strip()
else:
nickname = ""
notion = str(sp.find('p',{"class":"pl"}).string) #抓取出版信息,注意里面的.string还不是真的str类型
rating = str(sp.find('span',{"class":"rating_nums"}).string) #抓取平分数据
nums = sp.find('span',{"class":"pl"}).string #抓取评分人数
nums = nums.replace('(','').replace(')','').replace('\n','').strip()
nums = re.findall('(\d+)人评价',nums)[0]
download_img(imageurl,bookName) #下载图片
book = requests.get(bookurl) #打开该图书的网页
sp3 = BeautifulSoup(book.content,"html.parser") #解析
taglist = sp3.find_all('a',{"class":" tag"}) #找标签信息
tag = ""
lis = []
for tagurl in taglist:
sp4 = BeautifulSoup(str(tagurl),"html.parser") #解析每个标签
lis.append(str(sp4.a.string))
tag = ','.join(lis) #加逗号
the_img = "I:\\douban\\image\\"+bookName+".jpg"
writelist=[i+j,bookName,nickname,rating,nums,the_img,bookurl,notion,tag]
for k in range(0,9):
if k == 5:
worksheet.insert_image(i+j,k,the_img)
else:
worksheet.write(i+j,k,writelist[k])
txtfile.write(str(writelist[k]))
txtfile.write('\t')
txtfile.write(u'\r\n')
def main():
now = datetime.now() #开始计时
print(now)
txtfile = codecs.open("top2501.txt",'w','utf-8')
url = "http://book.douban.com/top250?"
header = { "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.13 Safari/537.36",
"Referer": "http://book.douban.com/"
}
image_dir = "I:\\douban\\image\\"
#建立Excel
workbookx = xlsxwriter.Workbook('I:\\douban\\booktop250.xlsx')
worksheet = workbookx.add_worksheet()
format = workbookx.add_format()
#format.set_align('justify')
format.set_align('center')
#format.set_align('vjustify')
format.set_align('vcenter')
format.set_text_wrap()
worksheet.set_row(0,12,format)
for i in range(1,251):
worksheet.set_row(i,70)
worksheet.set_column('A:A',3,format)
worksheet.set_column('B:C',17,format)
worksheet.set_column('D:D',4,format)
worksheet.set_column('E:E',7,format)
worksheet.set_column('F:F',10,format)
worksheet.set_column('G:G',19,format)
worksheet.set_column('H:I',40,format)
item = ['书名','别称','评分','评价人数','封面','图书链接','出版信息','标签']
for i in range(1,9):
worksheet.write(0,i,item[i-1])
s = requests.Session() #建立会话
s.get(url,headers=header)
thread = []
for i in range(0,250,25):
geturl = url + "/start=" + str(i) #要获取的页面地址
print("Now to get " + geturl)
t = threading.Thread(target=crawler,
args=(s,i,url,header,image_dir,worksheet,txtfile))
thread.append(t)
for i in range(0,10):
thread[i].start()
for i in range(0,10):
thread[i].join()
end = datetime.now() #结束计时
print(end)
print("程序耗时： " + str(end-now))
txtfile.close()
workbookx.close()
if __name__ == '__main__':
main()
虽然还是写的有点乱。。 然后运行：
2016-03-29 08:48:37.006681
Now to get http://book.douban.com/top250?/start=0
Now to get http://book.douban.com/top250?/start=25
Now to get http://book.douban.com/top250?/start=50
Now to get http://book.douban.com/top250?/start=75
Now to get http://book.douban.com/top250?/start=100
Now to get http://book.douban.com/top250?/start=125
Now to get http://book.douban.com/top250?/start=150
Now to get http://book.douban.com/top250?/start=175
Now to get http://book.douban.com/top250?/start=200
Now to get http://book.douban.com/top250?/start=225
2016-03-29 08:49:44.003378
程序耗时： 0:01:06.996697
只花费了1分6秒，与前面的7分24秒相比，加速比达到6.7！这就是多线程的优势，理论上应该达到将近10倍的，但是由于线程创建和切换也是有开销的，所以达到7~8倍就不错了。然后我又运行了几次，稳定性还行，没有崩过。 ps：这个博客模板默认换行怎么辣么多，代码里面都自动换行。。
（完）
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
