多元逻辑回归模型的p值和R方检验python

原创

mob649e815e258d 2024-09-13 06:35:03 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e815e258d的原创作品，请联系作者获取转载授权，否则将追究法律责任

实现多元逻辑回归模型的p值和R方检验

在数据科学与机器学习领域，多元逻辑回归是一种常用的分类方法。当我们构建一个逻辑回归模型时，了解模型的准确性和统计意义是非常重要的。在这篇文章中，我将逐步指导你如何用Python实现多元逻辑回归模型，并分析其p值和R方（R-squared）检验。我们会通过以下几个步骤逐步完成：

步骤	描述
1	导入所需库
2	数据准备与预处理
3	拆分训练集与测试集
4	构建多元逻辑回归模型
5	获取p值
6	获取R方统计量
7	模型评估

以下是每一步骤所需的代码和解释。

1. 导入所需库

首先，我们需要导入处理数据、建模和绘图所需的库。

import pandas as pd  # 用于数据处理
import numpy as np  # 用于数值计算
import statsmodels.api as sm  # 用于统计建模
from sklearn.model_selection import train_test_split  # 用于拆分数据集
from sklearn.metrics import accuracy_score  # 用于评估模型准确性
import matplotlib.pyplot as plt  # 用于绘图
import seaborn as sns  # 用于绘图

2. 数据准备与预处理

在这一步，我们需要将数据加载到Pandas DataFrame中，并进行一些基本的预处理。例如，去除缺失值和转换分类变量为数值。

# 假设我们有一个数据集 'data.csv'
data = pd.read_csv('data.csv')

# 查看数据结构
print(data.head())

# 去除缺失值
data.dropna(inplace=True)

# 将分类变量转换为虚拟变量
data = pd.get_dummies(data, drop_first=True)

3. 拆分训练集与测试集

以上处理完成后，我们需要将数据集拆分为训练集和测试集，以便于后续训练和测试模型。

# 定义特征和目标变量
X = data.drop('target_column', axis=1)
y = data['target_column']

# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4. 构建多元逻辑回归模型

使用statsmodels库构建逻辑回归模型，并使用训练数据进行拟合。

# 为模型添加常量项
X_train_sm = sm.add_constant(X_train)

# 构建逻辑回归模型
model = sm.Logit(y_train, X_train_sm)
result = model.fit()

# 输出模型摘要
print(result.summary())

5. 获取p值

在模型摘要中，会包括生成每个特征的p值。p值可以用来判断在模型中每个特征的显著性。

# 获取每个特征的p值
p_values = result.pvalues
print("P-values:\n", p_values)

6. 获取R方统计量

虽然R方通常用于线性回归，但我们可以使用伪R方（如McFadden R方）作为逻辑回归模型的表现衡量。

# 获取伪R方
mcfadden_r2 = 1 - (result.llf / result.llnull)
print("Pseudo R-squared:", mcfadden_r2)

7. 模型评估

最后，我们需要使用测试集对模型进行评估，并计算其准确性。

# 预测测试集
X_test_sm = sm.add_constant(X_test)
y_pred = result.predict(X_test_sm)
y_pred_class = (y_pred > 0.5).astype(int)

# 计算准确性
accuracy = accuracy_score(y_test, y_pred_class)
print("Accuracy:", accuracy)

图示

下面是数据流程和模型间关系的图示。

erDiagram
    CUSTOMER ||--o{ ORDER : places
    ORDER ||--|{ ORDER_ITEM : contains
    PRODUCT ||--|{ ORDER_ITEM : includes

classDiagram
    class LogisticRegressionModel {
        +fit()
        +predict()
        +summary()
        +get_p_values()
        +get_r_squared()
    }
    class DataPreprocessing {
        +load_data()
        +clean_data()
        +split_data()
        +convert_categorical()
    }
    LogisticRegressionModel --> DataPreprocessing : uses