分类聚类 python

原创

mob64ca12f2c96c 2024-09-01 06:32:52 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12f2c96c的原创作品，请联系作者获取转载授权，否则将追究法律责任

分类与聚类在 Python 中的实现

在数据科学中，分类与聚类是重要的任务。分类是指将数据分配到预定义的类别中，而聚类则是将数据根据其特征进行分组。在本篇文章中，我们将通过步骤化的流程来实现这两个任务，并用代码示例进行说明。

整体流程概览

我们可以将分类和聚类的过程分为几个步骤，如下表所示：

步骤	操作	描述
第一步	数据准备	收集、清理和准备数据
第二步	特征提取	将数据转化为适合模型的特征
第三步	选择算法	根据任务选择适合的算法
第四步	模型训练	使用算法训练模型
第五步	模型评估	评估模型的性能，并进行调整
第六步	结果分析	分析分类结果或聚类结果

每一步的详细步骤与代码

第一步：数据准备

我们将使用 pandas 库来导入数据并进行基本清理。如果你没有安装 pandas，可以通过 pip install pandas 来安装它。

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')  # 替换为你自己的数据文件路径

# 查看数据
print(data.head())  # 输出前几行数据

第二步：特征提取

特征提取是将原始数据转换为适合机器学习模型的形式。这里我们将使用 LabelEncoder 和 StandardScaler。

from sklearn.preprocessing import LabelEncoder, StandardScaler

# 对分类变量进行编码
label_encoder = LabelEncoder()
data['category'] = label_encoder.fit_transform(data['category'])  # 用合适的列名替换

# 标准化数据
scaler = StandardScaler()
features = scaler.fit_transform(data[['feature1', 'feature2']])  # 替换为你的特征列名

第三步：选择算法

根据任务选择适合的算法：

对于分类，常用的算法有逻辑回归、决策树、支持向量机等。
对于聚类，常见的有 KMeans、层次聚类等。

我们将选择 KMeans 作为聚类算法，使用逻辑回归作为分类算法。

第四步：模型训练

分类模型训练示例

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(features, data['category'], test_size=0.2, random_state=42)

# 逻辑回归模型
classifier = LogisticRegression()
classifier.fit(X_train, y_train)  # 训练模型

聚类模型训练示例

from sklearn.cluster import KMeans

# KMeans 聚类
kmeans = KMeans(n_clusters=3)  # 设定要分成的聚类数
kmeans.fit(features)  # 训练模型
clusters = kmeans.predict(features)  # 预测聚类

第五步：模型评估

对于分类，我们可以使用准确率、精确率、召回率等指标来评估模型。

from sklearn.metrics import accuracy_score, classification_report

# 预测测试集
y_pred = classifier.predict(X_test)

# 计算准确率
print("Accuracy:", accuracy_score(y_test, y_pred))

# 更多评估指标
print(classification_report(y_test, y_pred))

对于聚类，我们可以使用轮廓系数等来评估聚类结果。

from sklearn.metrics import silhouette_score

# 计算轮廓系数
silhouette_score_value = silhouette_score(features, clusters)
print("Silhouette Score:", silhouette_score_value)

第六步：结果分析

对于分类，输出混淆矩阵，观察模型性能。

from sklearn.metrics import confusion_matrix
import seaborn as sns
import matplotlib.pyplot as plt

# 混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
sns.heatmap(conf_matrix, annot=True, fmt='d')
plt.title('Confusion Matrix')
plt.xlabel('Predicted')
plt.ylabel('True')
plt.show()

对于聚类，我们可以可视化聚类结果：

import matplotlib.pyplot as plt

# 可视化聚类
plt.scatter(features[:, 0], features[:, 1], c=clusters)
plt.title('KMeans Clustering')
plt.xlabel('Feature 1')   # 替换为你特征的名称
plt.ylabel('Feature 2')   # 替换为你特征的名称
plt.show()

类图示例

下图展示了本示例中的类和它们之间的关系：

classDiagram
    class DataPreparation {
        +read_data()
        +clean_data()
    }
    class FeatureExtraction {
        +encode_labels()
        +scale_features()
    }
    class Modeling {
        +train_classifier()
        +train_cluster()
    }
    class Evaluation {
        +evaluate_classifier()
        +evaluate_cluster()
    }
    DataPreparation --> FeatureExtraction
    FeatureExtraction --> Modeling
    Modeling --> Evaluation