python 去除共线性

原创

mob64ca12ee66e3 2024-09-06 06:29:12 ©著作权

文章标签 python 数据集 Python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12ee66e3的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python 去除共线性实践指南

在数据分析中，共线性是指独立变量之间存在高度的相关性，这会导致模型的估计 coefficient 不准确，影响模型的预测能力。本文将介绍如何在 Python 中去除共线性，并提供详细的步骤和代码示例，帮助你实现这一目标。

实现流程

具体流程包括以下几个步骤：

步骤	描述
1	导入所需的库
2	准备你的数据集
3	计算相关性矩阵
4	判断共线性
5	去除高度相关的变量
6	验证结果

每一步的详细说明

1. 导入所需的库

在开始之前，你需要安装并导入必要的 Python 库，如 pandas 和 numpy，用于数据处理，以及 seaborn 和 matplotlib 用于可视化。

# 导入数据处理库
import pandas as pd
import numpy as np

# 导入可视化库
import seaborn as sns
import matplotlib.pyplot as plt

说明: pandas 用于处理数据表格，numpy 用于数值计算，seaborn 和 matplotlib 用于生成图形。

2. 准备你的数据集

这里我们假设你已经有一个 pandas DataFrame。如果没有，你可以使用以下代码导入数据：

# 读取数据集
data = pd.read_csv('your_dataset.csv')

# 查看数据的前五行
print(data.head())

说明: pd.read_csv 读取 CSV 文件并生成 DataFrame，data.head() 显示前几行数据，帮助你检查数据是否正确。

3. 计算相关性矩阵

使用 pandas 的 corr() 函数计算数据集中变量的相关性。

# 计算相关性矩阵
correlation_matrix = data.corr()

# 输出相关性矩阵
print(correlation_matrix)

说明: data.corr() 计算相关性，结果为一个矩阵，每个元素表示两个变量之间的相关系数。

4. 判断共线性

我们将使用热图可视化相关性矩阵，以便更直观地判断共线性。

# 绘制相关性热图
plt.figure(figsize=(12, 8))
sns.heatmap(correlation_matrix, annot=True, fmt=".2f", cmap='coolwarm')
plt.title("Correlation Matrix")
plt.show()

说明: sns.heatmap 创建热图以可视化相关性，通过设定 annot=True 显示相关系数，fmt=".2f" 限制小数位数，cmap 设定颜色主题。

5. 去除高度相关的变量

设置一个阈值（如 0.8）来判断共线性，并删除高度相关的变量。

# 设置阈值
threshold = 0.8

# 找出要删除的列
to_drop = set()

for i in range(len(correlation_matrix.columns)):
    for j in range(i):
        if abs(correlation_matrix.iloc[i, j]) > threshold:
            colname = correlation_matrix.columns[i]  # 相关列名
            to_drop.add(colname)

# 删除高度相关的列
data_reduced = data.drop(columns=to_drop)

# 输出被删除的列名
print("删除的列：", to_drop)

说明: 这里我们遍历相关性矩阵，发现相关系数大于阈值的变量，并将其列名存储在 to_drop 集合中，最后用 drop 方法删除这些列。

6. 验证结果

最后，我们可以再次计算相关性矩阵并进行热图可视化，以验证是否成功去除了共线性。

# 重新计算相关性矩阵
new_correlation_matrix = data_reduced.corr()

# 绘制新的相关性热图
plt.figure(figsize=(12, 8))
sns.heatmap(new_correlation_matrix, annot=True, fmt=".2f", cmap='coolwarm')
plt.title("New Correlation Matrix")
plt.show()