python爬取贴吧帖子 python爬取贴吧数据

以往编写的一个爬取百度贴吧的小爬虫，发布出来，供大家参考。

本爬虫是在pycharm中编写完成，服务器环境是ubuntu16.04，使用语言是python3，导入的模块包是requests模块

# 导入模块
import requests
# 定义百度贴吧爬虫类
class TiebaSpider(object):
    def __init__(self):
        self.base_url = 'http://tieba.baidu.com/f'
        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"}
        self.tieba_name = input('请输入贴吧名字：')
        self.start_page = int(input('请输入开始页数：'))
        self.end_page = int(input('请输入结束页数：'))    # 1.发送请求,获得数据
    def send_request(self,tieba_params):
        response = requests.get(self.base_url,headers=self.headers,params=tieba_params)
        data = response.content
        return data    # 2.保存数据
    def write_file(self,data,page):
        # 设置路径页数
        file_path = '/home/python/PycharmProjects/scrapy_demo/Tieba/' + str(page) + '.html'
        # 打印正在抓取的页数,使用format拼接打印正在抓取的页数
        print('正在抓取第{}页'.format(page))
        with open(file_path,'wb') as f:
            f.write(data)    # 3.调度任务
    def run(self):
        # 循环爬取数据
        for page in range(self.start_page,self.end_page+1):
            # 1.拼接数据
            tieba_params = {
                "kw": self.tieba_name,
                # 确定页数
                "pn": (page - 1)*50
            }
            # 2.发送请求
            data = self.send_request(tieba_params)
            # 3.保存数据
            self.write_file(data,page)if __name__ == '__main__':
    # 实例化对象
    tool = TiebaSpider()
    # 调用run方法
    tool.run()

 

在编写调试过程中，出现了几个问题，现列举如下

错误问题：

1.爬取网页时url 填写http开头，而不是填写https开头
2. User-Agent不对(之前一直提取不出来数据，还以为是爬虫哪里写错了，后来查找发现是设置的U-A有问题，换了一个U-A就能将数据爬取出来了)，也会提取不出来数据
3.路径要选择正确，不要写错了，例如 with open('file_path','wb')是错误的， with open(file_path,'wb')才是正确的