python新闻正文抽取 python爬取新闻网站标题内容

文章目录

• 一、原理

• 分析网站

• 二、实现

• 实现代码

• 三、结果

• 爬取过程
• 爬取结果

• 四、总结

一、原理

分析网站

打开重庆交通大学新闻网站http://news.cqjtu.edu.cn/xxtz.htm

Chrome浏览器右键点击查看网页源代码

找到新闻标题所在位置，也就是需要爬取的内容。

不难发现新闻时间和标题在div标签内，同时被一个li标签包含，则可以找到所有的li标签再从里面找合适的div标签。

二、实现

实现代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error  # 制定URL 获取网页数据

# 所有新闻
subjects = []

# 模拟浏览器访问
Headers = {  # 模拟浏览器头部信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}

# 表头
csvHeaders = ['时间', '标题']


print('信息爬取中：\n')
for pages in tqdm(range(1, 65 + 1)):
    # 发出请求
    request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)
    html = ""
    # 如果请求成功则获取网页内容
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    # 解析网页
    soup = BeautifulSoup(html, 'html5lib')

    # 存放一条新闻
    subject = []
    # 查找所有li标签
    li = soup.find_all('li')
    for l in li:
        # 查找满足条件的div标签
        if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:
            # 时间
            for time in l.find_all('div',class_="time"):
                subject.append(time.string)
            # 标题
            for title in l.find_all('div',class_="right-title"):
                for t in title.find_all('a',target="_blank"):
                    subject.append(t.string)
            if subject:
                print(subject)
                subjects.append(subject)
        subject = []

# 保存数据
with open('test.csv', 'w', newline='utf-8') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n信息爬取完成！！！')

三、结果

爬取过程

爬取结果

四、总结

爬取网页需要一定的html基础