Python爬取酷狗音乐top100

原创

mob649e8159b30b 2024-11-16 05:52:13 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8159b30b的原创作品，请联系作者获取转载授权，否则将追究法律责任

用Python爬取酷狗音乐Top100的流程和代码示例

在学习网络爬虫之前，我们首先需要了解一下整个过程的步骤。通过这篇文章，我将引导你一步步完成爬取酷狗音乐Top100的任务。

步骤流程

以下是整个项目的步骤，展示了我们将要采取的步骤和每一步的目的：

步骤	描述
1	安装所需的库
2	发送请求获取页面 HTML
3	解析 HTML 内容获取数据
4	提取具体的音乐信息
5	存储和输出数据

甘特图

为了更清晰地展示各步骤的时间分配，我们使用甘特图来表示计划安排：

gantt
    title 酷狗音乐Top100爬虫开发计划
    dateFormat  YYYY-MM-DD
    section 准备阶段
    安装所需库          :active, 2023-10-01, 1d
    section 爬虫开发
    发送请求获取页面 HTML :after active, 2023-10-02, 2d
    解析 HTML 内容        : 2023-10-04, 2d
    提取音乐信息         : 2023-10-06, 2d
    存储和输出数据       : 2023-10-08, 1d

各步骤详细说明

1. 安装所需的库

首先，我们需要确保安装 requests 和 BeautifulSoup 这两个库。你可以使用以下命令进行安装：

pip install requests beautifulsoup4

requests 用于发送HTTP请求，BeautifulSoup 用于解析HTML内容。

2. 发送请求获取页面HTML

接下来，我们将使用 requests 库发送请求，获取酷狗音乐的Top100页面。

import requests

url = '
response = requests.get(url)  # 发送GET请求
html_content = response.text  # 获取页面内容
print(html_content)  # 打印页面内容

在这里，我们定义了目标URL并发送GET请求，通过响应的 text 属性获取网页的HTML内容。

3. 解析HTML内容获取数据

然后，我们使用 BeautifulSoup 解析获取到的HTML内容。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')  # 解析HTML内容

BeautifulSoup 将HTML解析为一个树形结构，方便我们提取数据。

4. 提取具体的音乐信息

现在，我们可以提取Top100音乐的名称和其它信息。首先需要分析网页的结构，确认数据位置。

music_list = []
top100_div = soup.find_all('div', class_='info')

for music in top100_div:  # 遍历包含音乐信息的所有DIV
    title = music.find('a', class_='title').text.strip()  # 获取音乐标题
    artist = music.find('a', class_='author').text.strip()  # 获取歌手名
    music_list.append({'title': title, 'artist': artist})  # 将结果存入列表

# 打印提取的音乐信息
for index, music in enumerate(music_list, start=1):
    print(f"{index}. {music['title']} - {music['artist']}")

在这里，我们找到包含音乐信息的所有 div 标签，提取音乐标题和歌手名称，并将结果保存到 music_list 列表中。

5. 存储和输出数据

最后，我们可以将提取到的数据保存到文件中，方便后续使用。

import json

with open('kugou_top100.json', 'w', encoding='utf-8') as f:
    json.dump(music_list, f, ensure_ascii=False, indent=4)  # 保存为JSON文件

print("Top100音乐信息已保存到 kugou_top100.json")