Python 绘制不同阈值下的 PR 曲线

1. 引言

在机器学习领域，PR 曲线（Precision-Recall Curve）是评估分类模型性能的重要工具，特别是在处理不平衡数据集时。与 ROC 曲线不同，PR 曲线更加关注正样本的预测效果，使其在许多实际应用中更具实用性。本文将介绍如何在 Python 中绘制不同阈值下的 PR 曲线，并给出相应的代码示例。

2. PR 曲线的基本概念

PR 曲线展示了在不同阈值下模型的精确率（Precision）与召回率（Recall）的变化情况。精确率是预测为正的样本中真正为正的比例，而召回率是正样本中被正确预测为正的比例。通过调节阈值，我们可以得到不同的精确率和召回率组合，从而绘制出 PR 曲线。

3. 流程图

下面是绘制 PR 曲线的基本流程图：

flowchart TD
    A[数据准备] --> B[模型训练]
    B --> C[预测概率计算]
    C --> D[生成不同阈值下的精确率和召回率]
    D --> E[绘制 PR 曲线]

4. 实现步骤

4.1 数据准备

我们以一个简单的二分类问题为例，使用 sklearn 库提供的 make_classification 函数生成一个不平衡数据集。

4.2 模型训练

选择一个分类模型，如逻辑回归、随机森林等，进行训练。

4.3 预测概率计算

使用训练好的模型对测试数据进行预测，获取预测概率。

4.4 生成不同阈值下的精确率和召回率

通过设置不同的阈值来计算精确率和召回率值。

4.5 绘制 PR 曲线

使用 matplotlib 库绘制 PR 曲线。

5. 代码示例

下面是完整的实现代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_recall_curve

# 1. 数据准备
X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 2. 模型训练
model = LogisticRegression()
model.fit(X_train, y_train)

# 3. 预测概率计算
y_scores = model.predict_proba(X_test)[:, 1]

# 4. 生成不同阈值下的精确率和召回率
precision, recall, thresholds = precision_recall_curve(y_test, y_scores)

# 5. 绘制 PR 曲线
plt.figure(figsize=(8, 6))
plt.plot(recall, precision, marker='.', label='PR Curve')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend()
plt.grid()
plt.show()

6. 解读结果

通过上面的代码，您将得到一条 PR 曲线，曲线下的区域越大，模型的性能越好。我们可以通过调整阈值来观察精确率和召回率的变化。在实际应用中，您可以根据业务需求选择合适的阈值。

7. 总结

PR 曲线是评估分类模型性能的重要工具，在处理不平衡数据集时表现尤为突出。本文介绍了如何使用 Python 绘制不同阈值下的 PR 曲线，从数据准备、模型训练到结果可视化的完整流程。希望这篇文章能为您在模型评估时提供帮助！

在实际应用中，您可以根据需要对代码进行修改，选择不同的模型以及不同的数据集，以验证和提升模型的性能。希望您在数据分析的旅程中不断探索与进步！