python实现K-means K-均值聚类分类算法 - 无监督学习

原创

wx646c1f410ed7d 2023-05-23 10:25:26 博主文章分类：科研：机器学习&深度学习 ©著作权

文章标签 机器学习 k均值聚类聚类迭代赋值 文章分类 HarmonyOS 后端开发

©著作权归作者所有：来自51CTO博客作者wx646c1f410ed7d的原创作品，请联系作者获取转载授权，否则将追究法律责任

无监督学习

根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

我的理解：给出样本，我们忽略所有样本的类别标签，而直接让程序自己去分类

K-均值聚类算法

用户给出一个正整数k，程序将样本分为k类。

算法步骤

根据用户给出的k，在样本数据范围内随机选出k个点，作为质心
进行迭代。每次迭代，首先遍历样本，让每个样本点找到（欧氏距离）最近的一个质心，记下，所有样本点被分为k个簇；然后遍历簇，更新每个簇的质心。至此，k个质心被重新赋值，进入下一轮迭代。
当任意簇都不再变化时，迭代结束，返回k个质心

总结

该思路的代码实现对应下文代码的函数kMeans

缺点：k个质心是随机给出的，对结果影响很大。

优化：二分-K-均值聚类

上述普通的k均值聚类，初始随机质心对结果影响太大。

定义SSE（Sum of Squared Error）为误差平方和（每个样本点到质心的距离的平方，之和），显然：SSE越小，聚类结果越好。

算法步骤

初始所有样本点属于1个簇。
若当前已有x个簇，则选择一个簇i，将簇i使用kMeans函数一分为二，满足划分后的SSE最小。至此我们的簇数变成x+1，重复此过程，知道簇数达到k

总结：

实际测试中，我发现二分优化后的K均值聚类并没有进步太多。查阅资料，说是数据集越接近于超球体分布，即不同类别均匀分布与一个超球体上，且间距尽可能大，这时候的k均值聚类才能体现出优越性。

【代码实现python】

import math
import numpy


def loadDataSet(filename):
    dataSet = []
    fr = open(filename)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        dataSet.append([float(i) for i in curLine])
    return dataSet


# 计算两向量之间的欧氏距离
# 注意,math.sqrt(参数必须仅一个元素)返回数值，numpy.sqrt返回同参数类型(但若元素仅1个，则返回数值)
def distEclud(vecA, vecB):
    return math.sqrt(numpy.sum(numpy.power(vecA - vecB, 2)))


# 随机产生k个质心
def randCenter(dataMat, k):
    n = numpy.shape(dataMat)[1]
    centroids = numpy.mat(numpy.zeros((k, n)))  # 构造k*n的0矩阵
    for j in range(n):  # 遍历列
        minJ = numpy.min(dataMat[:, j])
        rangeJ = numpy.max(dataMat[:, j]) - minJ
        centroids[:, j] = minJ + rangeJ * numpy.random.rand(k, 1)
    return centroids


def kMeans(dataSet, k, distMeas=distEclud, createCent=randCenter):
    dataMat = numpy.mat(dataSet)
    m = numpy.shape(dataSet)[0]
    clusterAssment = numpy.mat(numpy.zeros((m, 2)))  # 记下每个点所属的簇的质心
    centroids = createCent(dataMat, k)  # 随机产生k个质心
    clusterChanged = True
    while clusterChanged:
        clusterChanged = False
        for i in range(m):  # 遍历点
            minDist = numpy.inf;
            minIndex = -1  # 寻找一个最近质心
            for j in range(k):
                distJI = distMeas(centroids[j], dataMat[i])
                if minDist > distJI:
                    minDist = distJI;
                    minIndex = j
            if clusterAssment[i, 0] != minIndex:
                clusterChanged = True
                clusterAssment[i, :] = minIndex, minDist ** 2

        for cent in range(k):  # 遍历质心，更新质心
            curIndex = numpy.nonzero(clusterAssment[:, 0] == cent)[0]  # 选出簇为cent的样本点的下标,np.array
            ptsInCluster = dataMat[curIndex]  # 截取出本簇的点
            centroids[cent, :] = numpy.mean(ptsInCluster, axis=0)  # 按列求平均值,得新质心
            # clusterAssment[:,0] == cent  得到真假矩阵(1列)，簇为cent的项是True，否则False
            # numpy.nonzero(x)    得到矩阵x中不为0的项的坐标，返回一个元组,内涵两个np.array，分别行列坐标
            # dataMat[c]      c是一个np.array，dataMat矩阵截取出第c[i]行
    return centroids, clusterAssment  # 返回质心、每个点所属的簇的质心下标and距离^2


def biKMeans(dataSet, k, distMeas=distEclud):
    dataMat = numpy.mat(dataSet)
    m = numpy.shape(dataMat)[0]
    clusterAssment = numpy.mat(numpy.zeros((m, 2)))  # 每个样本点 0所属簇编号 1距离平方
    centroid0 = numpy.mean(dataMat, axis=0)  # 全部归于一个簇，即质心为平均值
    centList = centroid0.tolist()  # 列表 保存质心

    for j in range(m):  # 为距离平方赋值
        clusterAssment[j, 1] = distMeas(centroid0, dataMat[j]) ** 2

    while len(centList) < k:
        lowestSSE = numpy.inf  # 正无穷
        for i in range(len(centList)):  # 遍历已知质心,即遍历已知簇
            ptsInCurrCluster = dataMat[numpy.nonzero(clusterAssment[:, 0].A == i)[0], :]
            # 截取出当前簇i的点
            centroidMat, splitClutserAss = kMeans(ptsInCurrCluster, k=2)
            # 试图将簇i一分为二
            sseSplit = numpy.sum(splitClutserAss[:, 1])  # 当前簇一分为二的SSE
            sseNotSplit = numpy.sum(clusterAssment[numpy.nonzero(clusterAssment[:, 0] != i)[0], 1])  # 不包含当前簇的SSE

            if lowestSSE > (sseSplit + sseNotSplit):  # SSE发现新的小值
                bestCentToSplit = i  # 最好的切分簇下标
                bestNewCents = centroidMat  # 最好的将i分开后的质心,一定是两个点
                bestClusterAss = splitClutserAss
                lowestSSE = sseSplit + sseNotSplit

        # 下面将切分的那个簇进行处理,首先修改全局中该簇中 每个样本点的质心
        bestClusterAss[numpy.nonzero(bestClusterAss[:, 0].A == 1)[0], 0] = len(centList)  # 新增,必须放在下一行的前面
        bestClusterAss[numpy.nonzero(bestClusterAss[:, 0].A == 0)[0], 0] = bestCentToSplit  # 覆盖 若此步与上步交换，则有可能影响值判断条件
        clusterAssment[numpy.nonzero(clusterAssment[:, 0].A == bestCentToSplit)[0], :] = bestClusterAss

        centList[bestCentToSplit] = bestNewCents.tolist()[0]  # 更新0质心 覆盖在切分簇位置
        centList.append(bestNewCents.tolist()[1])  # 增加1质心 添加到尾部
        # 上面两步赋值需要注意,将numpy.mat转为list
    return numpy.mat(centList), clusterAssment  # 质心矩阵，样本所属簇、距离平方


# 下面使用绘图，会出聚类结果
def plotter(dataMat, centroids, k):
    import matplotlib.pyplot as plt
    ax = plt.figure().add_subplot(111)  # 创建子图
    col = ['red', 'blue', 'yellow', 'green', 'pink', 'black']
    for i in range(k):
        arr = numpy.nonzero(clusterAssment[:, 0] == i)[0]
        ax.scatter(dataMat[arr, 0].tolist(), dataMat[arr, 1].tolist(), color=col[i])

    ax.scatter(centroids[:, 0].flatten().A[0], centroids[:, 1].flatten().A[0], s=200)

    plt.show()


if __name__ == "__main__":
    dataSet = loadDataSet('testSet2.txt')
    centroids, clusterAssment = kMeans(dataSet, 3)
    plotter(numpy.mat(dataSet), centroids, 3)

数据集testSet2.txt

3.275154	2.957587
-3.344465	2.603513
0.355083	-3.376585
1.852435	3.547351
-2.078973	2.552013
-0.993756	-0.884433
2.682252	4.007573
-3.087776	2.878713
-1.565978	-1.256985
2.441611	0.444826
-0.659487	3.111284
-0.459601	-2.618005
2.177680	2.387793
-2.920969	2.917485
-0.028814	-4.168078
3.625746	2.119041
-3.912363	1.325108
-0.551694	-2.814223
2.855808	3.483301
-3.594448	2.856651
0.421993	-2.372646
1.650821	3.407572
-2.082902	3.384412
-0.718809	-2.492514
4.513623	3.841029
-4.822011	4.607049
-0.656297	-1.449872
1.919901	4.439368
-3.287749	3.918836
-1.576936	-2.977622
3.598143	1.975970
-3.977329	4.900932
-1.791080	-2.184517
3.914654	3.559303
-1.910108	4.166946
-1.226597	-3.317889
1.148946	3.345138
-2.113864	3.548172
0.845762	-3.589788
2.629062	3.535831
-1.640717	2.990517
-1.881012	-2.485405
4.606999	3.510312
-4.366462	4.023316
0.765015	-3.001270
3.121904	2.173988
-4.025139	4.652310
-0.559558	-3.840539
4.376754	4.863579
-1.874308	4.032237
-0.089337	-3.026809
3.997787	2.518662
-3.082978	2.884822
0.845235	-3.454465
1.327224	3.358778
-2.889949	3.596178
-0.966018	-2.839827
2.960769	3.079555
-3.275518	1.577068
0.639276	-3.412840