Python用api接口读取天气 python爬取天气信息

一、选题背景

天气预报我们每天都会关注，我们可以根据未来的天气增减衣物、安排出行，每天的气温、风速风向、相对湿度、空气质量等成为关注的焦点。本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取，，之后用matplotlib、numpy、pandas对数据进行可视化处理和分析，得到温湿度度变化曲线、空气质量图、风向雷达图等结果，为获得未来天气信息提供了有效方法。

二、主题式网络爬虫设计方案

1.主题式网络爬虫名称

Python爬虫——爬取天气数据

2.主题式网络爬虫爬取的内容与数据特征分析

爬取近七天天气并对数据进行数据可视化处理

 3.主题式网络爬虫设计方案概述

首先查看中国天气网的网址，采用requests.get()方法，请求网页，然后提取有用信息，采用BeautifulSoup库对刚刚获取的字符串进行数据提取，接着将爬取的数据添加到列表中，最后进行数据可视化分析。

三、主题页面的结构特征分析

1.主题页面的结构与特征分析

爬取页面：

http://www.weather.com.cn/weather/101280701.shtml

 

这里采用BeautifulSoup库对刚刚获取的字符串进行数据提取，首先对网页进行检查，找到需要获取数据的标签

 

 

 2.Htmls 页面解析

3.节点（标签）查找方法与遍历方法

可以发现7天的数据信息在div标签中并且id=“7d”，并且日期、天气、温度、风级等信息都在ul和li标签中，使用BeautifulSoup对获取的网页文本进行查找div标签id=“7d”，找出他包含的所有的ul和li标签，之后提取标签中相应的数据值，保存到对应列表中。

四、网络爬虫程序设计

1、数据爬取与采集

 

1 import requests
 2 from bs4 import BeautifulSoup
 3 
 4 
 5 def getHTMLText(url, timeout=30):
 6     try:
 7         r = requests.get(url, timeout=30)  # 用requests抓取网页信息
 8         r.raise_for_status()  # 可以让程序产生异常时停止程序
 9         r.encoding = r.apparent_encoding
10         return r.text
11     except:
12         return '产生异常'
13 
14 
15 def get_data(html):
16     final_list = []
17     soup = BeautifulSoup(html, 'html.parser')  # 用BeautifulSoup库解析网页
18     body = soup.body
19     data = body.find('div', {'id': '7d'})
20     ul = data.find('ul')
21     lis = ul.find_all('li')
22 
23     for day in lis:
24         temp_list = []
25 
26         date = day.find('h1').string  # 找到日期
27         temp_list.append(date)
28 
29         info = day.find_all('p')  # 找到所有的p标签
30         temp_list.append(info[0].string)
31 
32         if info[1].find('span') is None:  # 找到p标签中的第二个值'span'标签——最高温度
33             temperature_highest = ' '  # 用一个判断是否有最高温度
34         else:
35             temperature_highest = info[1].find('span').string
36             temperature_highest = temperature_highest.replace('℃', ' ')
37 
38         if info[1].find('i') is None:  # 找到p标签中的第二个值'i'标签——最高温度
39             temperature_lowest = ' '  # 用一个判断是否有最低温度
40         else:
41             temperature_lowest = info[1].find('i').string
42             temperature_lowest = temperature_lowest.replace('℃', ' ')
43 
44         temp_list.append(temperature_highest)  # 将最高气温添加到temp_list中
45         temp_list.append(temperature_lowest)  # 将最低气温添加到temp_list中
46 
47         wind_scale = info[2].find('i').string  # 找到p标签的第三个值'i'标签——风级，添加到temp_list中
48         temp_list.append(wind_scale)
49 
50         final_list.append(temp_list)  # 将temp_list列表添加到final_list列表中
51     return final_list
52 
53 
54 # 用format()将结果打印输出
55 def print_data(final_list, num):
56     print("{:^10}\t{:^8}\t{:^8}\t{:^8}\t{:^8}".format('日期', '天气', '最高温度', '最低温度', '风级'))
57     for i in range(num):
58         final = final_list[i]
59         print("{:^10}\t{:^8}\t{:^8}\t{:^8}\t{:^8}".format(final[0], final[1], final[2], final[3], final[4]))
60 
61 
62 # 用main()主函数将模块连接
63 def main():
64     url = 'http://www.weather.com.cn/weather/101280701.shtml'
65     html = getHTMLText(url)
66     final_list = get_data(html)
67     print_data(final_list, 7)
68 
69 
70 main()

 

 

 

 运行结果：

 

 

 

 

2、数据分析与可视化

（1）当天数据分析

1 # data1_analysis.py
  2 import matplotlib.pyplot as plt
  3 import numpy as np
  4 import pandas as pd
  5 import math
  6 
  7 
  8 def tem_curve(data):
  9     """温度曲线绘制"""
 10     hour = list(data['小时'])
 11     tem = list(data['温度'])
 12     for i in range(0, 24):
 13         if math.isnan(tem[i]) == True:
 14             tem[i] = tem[i - 1]
 15     tem_ave = sum(tem) / 24  # 求平均温度
 16     tem_max = max(tem)
 17     tem_max_hour = hour[tem.index(tem_max)]  # 求最高温度
 18     tem_min = min(tem)
 19     tem_min_hour = hour[tem.index(tem_min)]  # 求最低温度
 20     x = []
 21     y = []
 22     for i in range(0, 24):
 23         x.append(i)
 24         y.append(tem[hour.index(i)])
 25     plt.figure(1)
 26     plt.plot(x, y, color='red', label='温度')  # 画出温度曲线
 27     plt.scatter(x, y, color='red')  # 点出每个时刻的温度点
 28     plt.plot([0, 24], [tem_ave, tem_ave], c='blue', linestyle='--', label='平均温度')  # 画出平均温度虚线
 29     plt.text(tem_max_hour + 0.15, tem_max + 0.15, str(tem_max), ha='center', va='bottom', fontsize=10.5)  # 标出最高温度
 30     plt.text(tem_min_hour + 0.15, tem_min + 0.15, str(tem_min), ha='center', va='bottom', fontsize=10.5)  # 标出最低温度
 31     plt.xticks(x)
 32     plt.legend()
 33     plt.title('一天温度变化曲线图')
 34     plt.xlabel('时间/h')
 35     plt.ylabel('摄氏度/℃')
 36     plt.show()
 37 
 38 
 39 def hum_curve(data):
 40     """相对湿度曲线绘制"""
 41     hour = list(data['小时'])
 42     hum = list(data['相对湿度'])
 43     for i in range(0, 24):
 44         if math.isnan(hum[i]) == True:
 45             hum[i] = hum[i - 1]
 46     hum_ave = sum(hum) / 24  # 求平均相对湿度
 47     hum_max = max(hum)
 48     hum_max_hour = hour[hum.index(hum_max)]  # 求最高相对湿度
 49     hum_min = min(hum)
 50     hum_min_hour = hour[hum.index(hum_min)]  # 求最低相对湿度
 51     x = []
 52     y = []
 53     for i in range(0, 24):
 54         x.append(i)
 55         y.append(hum[hour.index(i)])
 56     plt.figure(2)
 57     plt.plot(x, y, color='blue', label='相对湿度')  # 画出相对湿度曲线
 58     plt.scatter(x, y, color='blue')  # 点出每个时刻的相对湿度
 59     plt.plot([0, 24], [hum_ave, hum_ave], c='red', linestyle='--', label='平均相对湿度')  # 画出平均相对湿度虚线
 60     plt.text(hum_max_hour + 0.15, hum_max + 0.15, str(hum_max), ha='center', va='bottom', fontsize=10.5)  # 标出最高相对湿度
 61     plt.text(hum_min_hour + 0.15, hum_min + 0.15, str(hum_min), ha='center', va='bottom', fontsize=10.5)  # 标出最低相对湿度
 62     plt.xticks(x)
 63     plt.legend()
 64     plt.title('一天相对湿度变化曲线图')
 65     plt.xlabel('时间/h')
 66     plt.ylabel('百分比/%')
 67     plt.show()
 68 
 69 
 70 def air_curve(data):
 71     """空气质量曲线绘制"""
 72     hour = list(data['小时'])
 73     air = list(data['空气质量'])
 74     print(type(air[0]))
 75     for i in range(0, 24):
 76         if math.isnan(air[i]) == True:
 77             air[i] = air[i - 1]
 78     air_ave = sum(air) / 24  # 求平均空气质量
 79     air_max = max(air)
 80     air_max_hour = hour[air.index(air_max)]  # 求最高空气质量
 81     air_min = min(air)
 82     air_min_hour = hour[air.index(air_min)]  # 求最低空气质量
 83     x = []
 84     y = []
 85     for i in range(0, 24):
 86         x.append(i)
 87         y.append(air[hour.index(i)])
 88     plt.figure(3)
 89 
 90     for i in range(0, 24):
 91         if y[i] <= 50:
 92             plt.bar(x[i], y[i], color='lightgreen', width=0.7)  # 1等级
 93         elif y[i] <= 100:
 94             plt.bar(x[i], y[i], color='wheat', width=0.7)  # 2等级
 95         elif y[i] <= 150:
 96             plt.bar(x[i], y[i], color='orange', width=0.7)  # 3等级
 97         elif y[i] <= 200:
 98             plt.bar(x[i], y[i], color='orangered', width=0.7)  # 4等级
 99         elif y[i] <= 300:
100             plt.bar(x[i], y[i], color='darkviolet', width=0.7)  # 5等级
101         elif y[i] > 300:
102             plt.bar(x[i], y[i], color='maroon', width=0.7)  # 6等级
103     plt.plot([0, 24], [air_ave, air_ave], c='black', linestyle='--')  # 画出平均空气质量虚线
104     plt.text(air_max_hour + 0.15, air_max + 0.15, str(air_max), ha='center', va='bottom', fontsize=10.5)  # 标出最高空气质量
105     plt.text(air_min_hour + 0.15, air_min + 0.15, str(air_min), ha='center', va='bottom', fontsize=10.5)  # 标出最低空气质量
106     plt.xticks(x)
107     plt.title('一天空气质量变化曲线图')
108     plt.xlabel('时间/h')
109     plt.ylabel('空气质量指数AQI')
110     plt.show()
111 
112 
113 def wind_radar(data):
114     """风向雷达图"""
115     wind = list(data['风力方向'])
116     wind_speed = list(data['风级'])
117     for i in range(0, 24):
118         if wind[i] == "北风":
119             wind[i] = 90
120         elif wind[i] == "南风":
121             wind[i] = 270
122         elif wind[i] == "西风":
123             wind[i] = 180
124         elif wind[i] == "东风":
125             wind[i] = 360
126         elif wind[i] == "东北风":
127             wind[i] = 45
128         elif wind[i] == "西北风":
129             wind[i] = 135
130         elif wind[i] == "西南风":
131             wind[i] = 225
132         elif wind[i] == "东南风":
133             wind[i] = 315
134     degs = np.arange(45, 361, 45)
135     temp = []
136     for deg in degs:
137         speed = []
138         # 获取 wind_deg 在指定范围的风速平均值数据
139         for i in range(0, 24):
140             if wind[i] == deg:
141                 speed.append(wind_speed[i])
142         if len(speed) == 0:
143             temp.append(0)
144         else:
145             temp.append(sum(speed) / len(speed))
146     print(temp)
147     N = 8
148     theta = np.arange(0. + np.pi / 8, 2 * np.pi + np.pi / 8, 2 * np.pi / 8)
149     # 数据极径
150     radii = np.array(temp)
151     # 绘制极区图坐标系
152     plt.axes(polar=True)
153     # 定义每个扇区的RGB值（R,G,B），x越大，对应的颜色越接近蓝色
154     colors = [(1 - x / max(temp), 1 - x / max(temp), 0.6) for x in radii]
155     plt.bar(theta, radii, width=(2 * np.pi / N), bottom=0.0, color=colors)
156     plt.title('一天风级图', x=0.2, fontsize=20)
157     plt.show()
158 
159 
160 def calc_corr(a, b):
161     """计算相关系数"""
162     a_avg = sum(a) / len(a)
163     b_avg = sum(b) / len(b)
164     cov_ab = sum([(x - a_avg) * (y - b_avg) for x, y in zip(a, b)])
165     sq = math.sqrt(sum([(x - a_avg) ** 2 for x in a]) * sum([(x - b_avg) ** 2 for x in b]))
166     corr_factor = cov_ab / sq
167     return corr_factor
168 
169 
170 def corr_tem_hum(data):
171     """温湿度相关性分析"""
172     tem = data['温度']
173     hum = data['相对湿度']
174     plt.scatter(tem, hum, color='blue')
175     plt.title("温湿度相关性分析图")
176     plt.xlabel("温度/℃")
177     plt.ylabel("相对湿度/%")
178     plt.text(20, 40, "相关系数为：" + str(calc_corr(tem, hum)), fontdict={'size': '10', 'color': 'red'})
179     plt.show()
180     print("相关系数为：" + str(calc_corr(tem, hum)))
181 
182 
183 def main():
184     plt.rcParams['font.sans-serif'] = ['SimHei']  # 解决中文显示问题
185     plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示问题
186     data1 = pd.read_csv('weather1.csv', encoding='gb2312')
187     print(data1)
188     tem_curve(data1)
189     hum_curve(data1)
190     air_curve(data1)
191     wind_radar(data1)
192     corr_tem_hum(data1)
193 
194 
195 if __name__ == '__main__':
196     main()

输出结果：1.当天温度变化曲线图

 

 2.相对湿度变化曲线图

 

 3.空气质量变化曲线图

4.风级图

 

 

 5.温度湿度分析图

 

 （2）未来14天数据分析

1 # data14_analysis.py
  2 import matplotlib.pyplot as plt
  3 import numpy as np
  4 import pandas as pd
  5 import math
  6 
  7 
  8 def tem_curve(data):
  9     """温度曲线绘制"""
 10     date = list(data['日期'])
 11     tem_low = list(data['最低气温'])
 12     tem_high = list(data['最高气温'])
 13     for i in range(0, 14):
 14         if math.isnan(tem_low[i]) == True:
 15             tem_low[i] = tem_low[i - 1]
 16         if math.isnan(tem_high[i]) == True:
 17             tem_high[i] = tem_high[i - 1]
 18 
 19     tem_high_ave = sum(tem_high) / 14  # 求平均高温
 20     tem_low_ave = sum(tem_low) / 14  # 求平均低温
 21 
 22     tem_max = max(tem_high)
 23     tem_max_date = tem_high.index(tem_max)  # 求最高温度
 24     tem_min = min(tem_low)
 25     tem_min_date = tem_low.index(tem_min)  # 求最低温度
 26 
 27     x = range(1, 15)
 28     plt.figure(1)
 29     plt.plot(x, tem_high, color='red', label='高温')  # 画出高温度曲线
 30     plt.scatter(x, tem_high, color='red')  # 点出每个时刻的温度点
 31     plt.plot(x, tem_low, color='blue', label='低温')  # 画出低温度曲线
 32     plt.scatter(x, tem_low, color='blue')  # 点出每个时刻的温度点
 33 
 34     plt.plot([1, 15], [tem_high_ave, tem_high_ave], c='black', linestyle='--')  # 画出平均温度虚线
 35     plt.plot([1, 15], [tem_low_ave, tem_low_ave], c='black', linestyle='--')  # 画出平均温度虚线
 36     plt.legend()
 37     plt.text(tem_max_date + 0.15, tem_max + 0.15, str(tem_max), ha='center', va='bottom', fontsize=10.5)  # 标出最高温度
 38     plt.text(tem_min_date + 0.15, tem_min + 0.15, str(tem_min), ha='center', va='bottom', fontsize=10.5)  # 标出最低温度
 39     plt.xticks(x)
 40     plt.title('未来14天高温低温变化曲线图')
 41     plt.xlabel('未来天数/天')
 42     plt.ylabel('摄氏度/℃')
 43     plt.show()
 44 
 45 
 46 def change_wind(wind):
 47     """改变风向"""
 48     for i in range(0, 14):
 49         if wind[i] == "北风":
 50             wind[i] = 90
 51         elif wind[i] == "南风":
 52             wind[i] = 270
 53         elif wind[i] == "西风":
 54             wind[i] = 180
 55         elif wind[i] == "东风":
 56             wind[i] = 360
 57         elif wind[i] == "东北风":
 58             wind[i] = 45
 59         elif wind[i] == "西北风":
 60             wind[i] = 135
 61         elif wind[i] == "西南风":
 62             wind[i] = 225
 63         elif wind[i] == "东南风":
 64             wind[i] = 315
 65     return wind
 66 
 67 
 68 def wind_radar(data):
 69     """风向雷达图"""
 70     wind1 = list(data['风向1'])
 71     wind2 = list(data['风向2'])
 72     wind_speed = list(data['风级'])
 73     wind1 = change_wind(wind1)
 74     wind2 = change_wind(wind2)
 75 
 76     degs = np.arange(45, 361, 45)
 77     temp = []
 78     for deg in degs:
 79         speed = []
 80         # 获取 wind_deg 在指定范围的风速平均值数据
 81         for i in range(0, 14):
 82             if wind1[i] == deg:
 83                 speed.append(wind_speed[i])
 84             if wind2[i] == deg:
 85                 speed.append(wind_speed[i])
 86         if len(speed) == 0:
 87             temp.append(0)
 88         else:
 89             temp.append(sum(speed) / len(speed))
 90     print(temp)
 91     N = 8
 92     theta = np.arange(0. + np.pi / 8, 2 * np.pi + np.pi / 8, 2 * np.pi / 8)
 93     # 数据极径
 94     radii = np.array(temp)
 95     # 绘制极区图坐标系
 96     plt.axes(polar=True)
 97     # 定义每个扇区的RGB值（R,G,B），x越大，对应的颜色越接近蓝色
 98     colors = [(1 - x / max(temp), 1 - x / max(temp), 0.6) for x in radii]
 99     plt.bar(theta, radii, width=(2 * np.pi / N), bottom=0.0, color=colors)
100     plt.title('未来14天风级图', x=0.2, fontsize=20)
101     plt.show()
102 
103 
104 def weather_pie(data):
105     """绘制天气饼图"""
106     weather = list(data['天气'])
107     dic_wea = {}
108     for i in range(0, 14):
109         if weather[i] in dic_wea.keys():
110             dic_wea[weather[i]] += 1
111         else:
112             dic_wea[weather[i]] = 1
113     print(dic_wea)
114     explode = [0.01] * len(dic_wea.keys())
115     color = ['lightskyblue', 'silver', 'yellow', 'salmon', 'grey', 'lime', 'gold', 'red', 'green', 'pink']
116     plt.pie(dic_wea.values(), explode=explode, labels=dic_wea.keys(), autopct='%1.1f%%', colors=color)
117     plt.title('未来14天气候分布饼图')
118     plt.show()
119 
120 
121 def main():
122     plt.rcParams['font.sans-serif'] = ['SimHei']  # 解决中文显示问题
123     plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示问题
124     data14 = pd.read_csv('weather14.csv', encoding='gb2312')
125     print(data14)
126     tem_curve(data14)
127     wind_radar(data14)
128     weather_pie(data14)
129 
130 
131 if __name__ == '__main__':
132     main()

输出结果：1.未来14天气温变化曲线图

 

 

 2.未来14天风级图

 

 3.未来14天气候分布饼图

 

 五、总结

1.首先根据爬取的温湿度数据进行的分析，温度从早上低到中午高再到晚上低，湿度和温度的趋势相反，通过相关系数发现温度和湿度有强烈的负相关关系，因为随着温度升高水蒸汽蒸发加剧，空气中水分降低湿度降低。当然，湿度同时受气压和雨水的影响，下雨湿度会明显增高。

2.风是由气压在水平方向分布的不均匀导致的。风受大气环流、地形、水域等不同因素的综合影响，表现形式多种多样，如季风、地方性的海陆风、山谷风等，一天的风向也有不同的变化，根据未来14天的风向雷达图可以发现未来所有风向基本都有涉及，并且没有特别的某个风向，原因可能是近期没有降水和气文变化不大，导致风向也没有太大的变化规律。
3.天气是指某一个地区距离地表较近的大气层在短时间内的具体状态。跟某瞬时内大气中各种气象要素分布的综合表现。根据未来14天的天气和温度变化可以大致推断出某个时间的气候，天气和温度之间也是有联系的

4.在完成此设计过程中，我了解到了网络爬虫的一些重要意义，也知道了爬虫的基本思路要指定网址，有需要爬的源，要明确想要得到什么数据，即网页中的标签存储什么数据，要知道建立什么样的规则去爬取网页数据。虽然对数据的爬取还有很多不明白，但是在未来的日子我会去学习更多的知识。