黑马程序员python数据预处理

原创

mob649e816347dd 2024-10-22 05:40:40 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e816347dd的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python 数据预处理：黑马程序员的必备技能

当我们进行数据分析或机器学习建模时，数据预处理是一个至关重要的步骤。数据中的缺失值、异常值和不一致性都可能影响模型的性能。本文将通过一个简要的流程和代码示例来介绍数据预处理的基本步骤。

数据预处理流程

在进行数据预处理时，通常需要遵循以下步骤：

flowchart TD
    A[获取数据] --> B[数据清洗]
    B --> C[数据转换]
    C --> D[特征选择]
    D --> E[数据划分]

1. 获取数据

数据可以来自于多种格式，如 CSV、Excel 或数据库。以下是一个读取 CSV 文件的示例：

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')
print(data.head())

2. 数据清洗

数据清洗主要是处理缺失值和异常值。我们可以通过填充、删除或替换等方式来处理缺失值。

# 查看缺失值
print(data.isnull().sum())

# 填充缺失值
data['column_name'].fillna(data['column_name'].mean(), inplace=True)

# 删除含有缺失值的行
data.dropna(inplace=True)

3. 数据转换

数据转换包括将类别变量转换为数值型变量，以及数据归一化或标准化等操作。

from sklearn.preprocessing import LabelEncoder, StandardScaler

# 类别变量编码
label_encoder = LabelEncoder()
data['category_column'] = label_encoder.fit_transform(data['category_column'])

# 数据标准化
scaler = StandardScaler()
data[['numerical_column']] = scaler.fit_transform(data[['numerical_column']])

4. 特征选择

特征选择是为了减少模型的复杂性，缩短训练时间并降低过拟合的风险。常见的方法包括基于方差的选择和相关性分析。

from sklearn.feature_selection import VarianceThreshold

# 使用方差阀值法进行特征选择
selector = VarianceThreshold(threshold=0.1)
data_selected = selector.fit_transform(data)

5. 数据划分

最后，我们要将数据集划分为训练集和测试集，以便验证模型性能。

from sklearn.model_selection import train_test_split

# 划分数据
X = data_selected.drop('target_column', axis=1)
y = data['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

print(f"训练集大小: {X_train.shape}, 测试集大小: {X_test.shape}")

旅行图

以下是对数据预处理步骤的旅行图，展示了每一步骤的感受与收获：

journey
    title 数据预处理旅程
    section 获取数据
      读取数据: 5: 数据流畅，读取顺利
    section 数据清洗
      处理缺失值: 4: 数据变得干净
      删除异常值: 3: 有些数据消失了
    section 数据转换
      转换变量: 4: 数据变得易于理解
      数据标准化: 5: 各个维度保持一致
    section 特征选择
      选择关键特征: 5: 找到对模型有用的信息
    section 数据划分
      划分为训练和测试集: 5: 准备好验证模型