import requests
import re
import csv
url = "https://movie.douban.com/top250"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.62"
}
resp = requests.get(url, headers=headers)
page_content = resp.text
obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'
r'</span>.*?<p class="">.*?<br>(?P<year>.*?) .*?<span '
r'class="rating_num" property="v:average">(?P<score>.*?)</span>.*?'
r'<span>(?P<num>.*?)人评价</span>',re.S)
result = obj.finditer(page_content)
f=open("data.csv",mode="w")
csvwriter = csv.writer(f)
for it in result:
#print(it.group("name"))
# print(it.group("score"))
# print(it.group("num"))
# print(it.group("year").strip())
dic = it.groupdict()
dic['year'] =dic['year'].strip()
csvwriter.writerow(dic.values())
f.close()
print("over!")
【Python】【爬虫】爬取豆瓣电影评分
精选 原创
©著作权归作者所有:来自51CTO博客作者mainl的原创作品,请联系作者获取转载授权,否则将追究法律责任
上一篇:【Python】词频统计(文末附哈姆雷特英文版TXT)
下一篇:【C语言】【枚举】口袋中有红,黄,蓝,白,黑5种颜色的球若干个。每次从口袋中先后取出3个球。问得到3种不同颜色的球的可能取法在,输出每种排列情况
![](https://ucenter.51cto.com/images/noavatar_middle.gif)
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
【python爬虫案例】利用python爬取豆瓣读书评分TOP250排行数据!
【python爬虫案例】利用python爬取豆瓣电影TOP250评分排行数据,并导出为excel文档数据
python爬虫 豆瓣爬虫 python实战 -
爬虫案例—爬取豆瓣电影最受欢迎的影评
requests和lxml模块的应用,豆瓣电影影评数据的抓取清洗。
爬虫 xml 3c 异步加载