1、异常值检测
1.1、标准差法
outlier>x¯+nσ或outlier<x¯−nσ
x¯ 为样本均值， σ 为样本标准差 当n=2时，满足条件的观测值就为异常值，当n=3时满足条件的观测就是极端异常值
1.2、箱线图法
outlier>\Q3+nIQR或outlier<\Q1−nIQR
\Q3 为上四分位数（75%）， \Q1 为下四分位数（25%）， IQR 为上四分位与下四分位的差 当n=1.5时，满足条件的观测值就为异常值，当n=3时满足条件的观测就是极端异常值
2、选择方法
数据近似服从正态分布（数据分布比较对称）优先选择标准差法即1.1 否则选择箱线图法1.2
3、异常值处理
若观测值异常比例不大可以考虑删除 也可以考虑替代法，可以使用低于判别上限的最大值进行替换上端异常值，高于判别下限的最小值替换下端异常值 或使用均值或中位数等
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #定义使其正常显示中文字体黑体
plt.rcParams['axes.unicode_minus'] = False #用来正常显示表示负号
data = pd.read_excel(r'D:\jupyter\data\全国疫情数据_来自CDC及卫健委.xlsx')
print(data.head())date 新增确诊 新增疑似 新增死亡 累积确诊 现有疑似 累积死亡 新增治愈 累积治愈 现有确诊 现有重症0 2020-01-16 4 0 1 45 0 2 0 8 0 0
1 2020-01-17 17 0 0 62 0 2 0 12 0 0
2 2020-01-18 59 0 1 121 0 3 0 17 0 0
3 2020-01-19 77 0 1 198 0 4 0 18 0 0
4 2020-01-20 77 27 2 291 54 6 0 25 291 0
df = data["累积确诊"]
print(df.head(),"\n")
print(df.describe())0 45
1 62
2 121
3 198
4 291
Name: 累积确诊, dtype: int64
count 68.000000
mean 52605.897059
std 33092.962085
min 45.000000
25% 16531.250000
50% 74690.000000
75% 80824.500000
max 81747.000000
Name: 累积确诊, dtype: float64
mean_val = df.mean() #均值
std_val = df.std() #标准差
up = df > mean_val+2*std_val
down = df < mean_val-2*std_val
print(df.loc[up,])
print(df.loc[down,],"\n")
print("标准差法异常值上限检测：\n",up.head(),"\n")
print("标准差法异常值下限检测：\n",down.head())Series([], Name: 累积确诊, dtype: int64)
Series([], Name: 累积确诊, dtype: int64)
标准差法异常值上限检测：
0 False
1 False
2 False
3 False
4 False
Name: 累积确诊, dtype: bool
标准差法异常值下限检测：
0 False
1 False
2 False
3 False
4 False
Name: 累积确诊, dtype: bool
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 - Q1
up1 = df > Q3+1.5*IQR
down1 = df < Q1-1.5*IQR
print(df.loc[up1,])
print(df.loc[down1,],"\n")
print("箱线图法异常值上限检测：\n",up1.head(),"\n")
print("箱线图法异常值下限检测：\n",down1.head())
Series([], Name: 累积确诊, dtype: int64)
Series([], Name: 累积确诊, dtype: int64)箱线图法异常值上限检测：
0 False
1 False
2 False
3 False
4 False
Name: 累积确诊, dtype: bool
箱线图法异常值下限检测：
0 False
1 False
2 False
3 False
4 False
Name: 累积确诊, dtype: bool
plt.style.use("ggplot")
plt.rcParams["font.size"]=10 #设置字体大小
plt.boxplot([df,data["新增确诊"]],labels=['累积确诊',"新增确诊"])
plt.title('箱线图')
plt.savefig('gender.png',dpi=400)
