离群值删除 python

原创

mob64ca12d32849 2024-12-14 07:15:56 ©著作权

文章标签 数据集 Python 代码示例 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12d32849的原创作品，请联系作者获取转载授权，否则将追究法律责任

离群值删除在Python中的应用

在数据分析和机器学习过程中，离群值（Outliers）是指那些在数据集中明显偏离其他观测值的点。这些异常值可能会导致分析结果的偏误，影响模型的训练与预测效果。因此，识别和处理离群值是数据预处理中的重要一步。本文将介绍如何使用Python删除离群值，并给出相应的代码示例。

离群值的概念

离群值是指在统计数据中明显不同于其他数据点的值。这些值可能由于测量错误、数据输入错误或自然现象等原因产生。常见的离群值检测方法包括：

Z-score 方法：通过标准差判断离群值
IQR 方法：通过四分位数判断离群值

删除离群值的步骤

我们可以通过以下流程对数据集进行离群值的检测与删除。

flowchart TD
    A[获取数据集] --> B[数据预处理]
    B --> C{选择检测方法}
    C -->|Z-score| D[计算 Z-score]
    C -->|IQR| F[计算 IQR]
    D --> E[根据阈值删除离群值]
    F --> H[根据阈值删除离群值]
    E --> I[输出结果]
    H --> I

接下来，使用 Python 中的 Pandas 和 NumPy 库来实现离群值删除的具体代码示例。

示例代码

1. 使用 Z-score 方法检测离群值

import pandas as pd
import numpy as np

# 创建一个示例数据集
data = {'value': [10, 12, 12, 11, 12, 100, 13, 14, 12, 12]}
df = pd.DataFrame(data)

# 计算 Z-score
df['z_score'] = (df['value'] - df['value'].mean()) / df['value'].std()

# 设置 Z-score 阈值
threshold = 2
# 删除离群值
df_no_outliers = df[(df['z_score'] > -threshold) & (df['z_score'] < threshold)]

print("原始数据集：")
print(df)
print("\n删除离群值后的数据集：")
print(df_no_outliers[['value']])

2. 使用 IQR 方法检测离群值

import pandas as pd

# 创建一个示例数据集
data = {'value': [10, 12, 12, 11, 12, 100, 13, 14, 12, 12]}
df = pd.DataFrame(data)

# 计算 Q1 和 Q3
Q1 = df['value'].quantile(0.25)
Q3 = df['value'].quantile(0.75)
IQR = Q3 - Q1

# 设置离群值的上下阈值
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 删除离群值
df_no_outliers = df[(df['value'] >= lower_bound) & (df['value'] <= upper_bound)]

print("原始数据集：")
print(df)
print("\n删除离群值后的数据集：")
print(df_no_outliers[['value']])

旅行图：数据处理过程

我们可以用旅行图（journey）来形象化数据预处理的步骤，即获取、处理和输出数据的整个过程。

journey
    title 数据预处理之旅
    section 获取数据
      获取原始数据集: 5: 获取数据集
    section 数据预处理
      选择离群值检测方法: 4: 方法选择
      进行 Z-score 或 IQR 处理: 3: 处理离群值
    section 输出结果
      输出有效数据集: 4: 输出结果