python如何输出逻辑回归概率转换之前的值

原创

mob64ca12dfd1d5 2024-09-26 06:15:01 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12dfd1d5的原创作品，请联系作者获取转载授权，否则将追究法律责任

项目方案：Python中逻辑回归模型的概率转换

背景

逻辑回归是一种常用于二分类问题的统计模型，它将输入特征通过逻辑函数转换为概率。然而，有时候我们希望查看逻辑回归模型的原始线性输出值（也称为“logits”），而不是概率。理解这些原始输出值对于模型解释、特征重要性和决策边界分析是非常重要的。本项目旨在成一个Python示例，以便将逻辑回归的概率转换之前的原始值输出。

目标

使用Python实现逻辑回归模型，并能够输出模型的原始线性值（logits）。
通过可视化展示逻辑回归的决策边界。
评估模型性能，并以可读的格式呈现结果。

项目实施步骤

该项目的实施步骤如下：

数据准备
构建逻辑回归模型
输出logits值
模型评估
结果展示

详细步骤

1. 数据准备

首先，我们需要准备一个简单的二分类数据集。可以使用sklearn库提供的“make_classification”函数生成一个样本数据集。

import pandas as pd
import numpy as np
from sklearn.datasets import make_classification
import matplotlib.pyplot as plt
import seaborn as sns

# 生成数据集
X, y = make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0, random_state=42)
data = pd.DataFrame(X, columns=['Feature 1', 'Feature 2'])
data['Target'] = y

# 可视化数据分布
plt.figure(figsize=(8, 6))
sns.scatterplot(x='Feature 1', y='Feature 2', hue='Target', data=data)
plt.title("Generated Classification Dataset")
plt.show()

2. 构建逻辑回归模型

接下来，我们使用sklearn中的LogisticRegression来构建逻辑回归模型。

from sklearn.linear_model import LogisticRegression

# 构建并训练模型
model = LogisticRegression()
model.fit(X, y)

3. 输出logits值

逻辑回归模型的线性输出值可以通过decision_function方法获得。

# 获取原始线性输出值
logits = model.decision_function(X)
data['Logits'] = logits

# 打印前5个值
print(data[['Target', 'Logits']].head())

4. 模型评估

使用准确度、混淆矩阵（confusion matrix）等指标评估模型性能。

from sklearn.metrics import accuracy_score, confusion_matrix, classification_report

# 模型预测
y_pred = model.predict(X)

# 评估模型
accuracy = accuracy_score(y, y_pred)
conf_matrix = confusion_matrix(y, y_pred)

print(f'Accuracy: {accuracy}')
print(f'Confusion Matrix:\n{conf_matrix}')
print(classification_report(y, y_pred))

5. 结果展示

在这里，我们可以通过可视化展示模型的决策边界。

def plot_decision_boundary(model, X, y):
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1), np.arange(y_min, y_max, 0.1))
    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    plt.figure(figsize=(10, 6))
    plt.contourf(xx, yy, Z, alpha=0.8)
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o')
    plt.title("Decision Boundary of Logistic Regression")
    plt.show()

plot_decision_boundary(model, X, y)

项目时间表

以下是项目的时间安排：

gantt
    title 逻辑回归模型项目时间表
    dateFormat  YYYY-MM-DD
    section 数据准备
    数据生成         :a1, 2023-10-01, 2d
    section 模型构建
    构建逻辑回归模型 :a2, after a1  , 3d
    section 输出与评估
    输出logits值     :a3, after a2, 1d
    模型性能评估     :a4, after a3, 2d
    section 结果展示
    绘制决策边界   :a5, after a4, 1d