python 计算离群值并过滤

原创

mob64ca12dd8bce 2024-12-14 05:22:57 ©著作权

文章标签 Python 数据分析状态图 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12dd8bce的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python计算离群值并过滤的实用指南

在数据分析中，离群值（Outliers）是指那些在数据集中显著偏离其他数据点的观测值。离群值可能是由于数据收集错误、测量误差或真实的异常现象造成的。为了确保分析结果的准确性，我们常常需要识别并过滤这些离群值。本文将介绍如何使用Python进行离群值的计算和过滤，提供代码示例，以及展示相应的序列图和状态图。

离群值检测的方法

在Python中，常用的方法包括：

Z-score：标准差法。
IQR（四分位数间距）：基于四分位数的异常值检测。

这里我们将使用IQR方法来检测离群值。IQR方法的核心思想是：如果一个数据点位于下四分位数（Q1）以下或上四分位数（Q3）以上的1.5倍IQR的范围之外，则被视为离群值。

示例代码

下面的代码展示了如何在Python中计算和过滤离群值。

import numpy as np
import pandas as pd

# 生成样本数据
data = {'values': [10, 12, 12, 13, 12, 100, 13, 12, 14, 12]}
df = pd.DataFrame(data)

# 计算IQR
Q1 = df['values'].quantile(0.25)
Q3 = df['values'].quantile(0.75)
IQR = Q3 - Q1

# 定义筛选条件
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 过滤离群值
filtered_df = df[(df['values'] >= lower_bound) & (df['values'] <= upper_bound)]

print("原始数据:\n", df)
print("\n过滤后的数据:\n", filtered_df)

在上述代码中，我们首先生成了一组包含离群值的样本数据。接着，我们计算了下四分位数和上四分位数，并根据这些值计算IQR。最后，我们根据IQR设置了过滤条件，并用条件筛选出的数据去掉了离群值。

序列图

以下是离群值检测过程的序列图，展示了我们所执行的步骤：

sequenceDiagram
    participant User
    participant DataFrame
    participant IQRCalculator
    participant Filter

    User->>DataFrame: 输入数据
    DataFrame->>IQRCalculator: 计算Q1和Q3
    IQRCalculator-->>DataFrame: 返回Q1、Q3和IQR
    DataFrame->>Filter: 设置过滤条件
    Filter-->>DataFrame: 返回过滤后的数据

状态图

在离群值检测过程中，数据的不同状态可以用状态图表示：

stateDiagram
    [*] --> OriginalData
    OriginalData --> CalculateIQR: 计算上下限
    CalculateIQR --> FilterOutliers: 过滤离群值
    FilterOutliers --> FilteredData: 返回过滤结果