Python台风数据爬取并存入数据库

原创

mob64ca12d42833 2024-09-24 05:10:21 ©著作权

文章标签 数据数据库 Python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12d42833的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python台风数据爬取并存入数据库

随着气候变化的加剧，台风作为极端天气现象，越来越受到人们的关注。为了更好地了解和研究台风的发生和发展，我们可以通过编程手段从网络上爬取台风数据，并将其存入数据库。本文将介绍如何使用Python完成这一任务。

一、环境准备

在开始之前，需要确保已安装以下Python库：

requests: 用于发送HTTP请求。
BeautifulSoup: 用于解析HTML文档。
pandas: 用于数据处理。
sqlite3: 用于操作SQLite数据库。

可以使用以下命令安装缺失的库：

pip install requests beautifulsoup4 pandas

二、爬取台风数据

首先，我们需要选择一个网站来爬取台风数据。这里我们以中国气象局网站为例。以下是一个简单的爬虫示例，演示如何获取我们所需的台风信息：

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "

response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# 提取台风信息
typhoon_data = []
for item in soup.select(".typhoon"):  # 假设需要的台风数据在class为"typhoon"的元素中
    name = item.select_one(".name").get_text(strip=True)
    date = item.select_one(".date").get_text(strip=True)
    strength = item.select_one(".strength").get_text(strip=True)
    
    typhoon_data.append({"name": name, "date": date, "strength": strength})

# 创建DataFrame
df = pd.DataFrame(typhoon_data)
print(df)

三、存入数据库

爬取到台风数据后，我们需要将其存入数据库，以便后续的数据分析和查询。这里使用SQLite作为数据库，下面的代码示例展示了如何将数据存入数据库：

import sqlite3

# 创建一个SQLite数据库
conn = sqlite3.connect('typhoon_data.db')
cur = conn.cursor()

# 创建表格
cur.execute('''
CREATE TABLE IF NOT EXISTS typhoons (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    name TEXT,
    date TEXT,
    strength TEXT
)
''')

# 将数据插入数据库
for index, row in df.iterrows():
    cur.execute('''
    INSERT INTO typhoons (name, date, strength) VALUES (?, ?, ?)
    ''', (row['name'], row['date'], row['strength']))

# 提交并关闭数据库
conn.commit()
conn.close()