K-means（K均值聚类算法）算法笔记
K-means 算法，是比较简单的无监督的算法，通过设定好初始的类别k，然后不断循环迭代，将给定的数据自动分为K个类别。事实上，大家都知道K-means是怎么算的，但实际上，它是GMM（高斯混合模型）的一个特例，其而GMM是基于EM算法得来的，所以本文，将对K-means 算法的算法思想进行分析。
算法流程
K-means 算法的算法流程非常简单，可以从下图进行讲解
将上图的所有点表示成
，假设我们将类别k设为2， 那么在给定这些点的同时，我们要求出每个点的类别，以及最终的中心点
。
首先，随机生成两个中心点，然后以一下流程进行：
1.根据设定的两个中心点，将所有的
和所有的
进行距离计算，并根据最近距离分配类别。2.所有的
分配好类别之后，针对每个类别，对该类别的所有点进行中心点计算，并更新所有中心点
。
重复以上过程，直至所有中心点，不在变更。
目标函数和分析
通过以上过程，其实可以看到，K-means 其实在求两个东西：
1.每个点到底属于哪个类别
2.每个中心点的坐标
根据上述，我们可以写出K-means 的目标函数：
其中
，（假设K=2）是上述要求的中心点，而
是其中的隐变量（每个
所对应的类别，起初我们是不知道的）。和上述定义的一样，
表示的是，第i个样本所对应的类别，如果
属于第k个类别，那么
，而其他的都等于0，这里你可以理解为一个one-hot 编码，这样做也是为了方便描述目标函数。进一步进行解释，就是你可以认为有一个“类别矩阵”
，
的每一行，对应的就是每个样本的类别向量。也即
（假设此时类别K=2，且
这时属于第二类）。通过上面的介绍，我们能够很明显看到EM算法的影子在里面，首先，对于每个类别，
就是对应的隐变量（我们并不知道每个类属于哪个类别）。其次是中心点，
就是我们所要求的参数。
1.通过首先对预设中心点，即假设
中心点已知，来求每个点的类别，所以相当于E步，求取隐变量
的期望2.其次，在确定隐变量
后，再对所求中心点
进行更细 ，即M步，即最大似然估计，也就是最小化目标函数。
通过如此往复的计算，最后得到结果。
为什么说K-means 是GMM的特例呢？
GMM是严格意义上的隐变量模型，它从EM进行推导是能直接推的，但是K-means算法不行，没有严格意义上的证明。
K-means 定义了每个点，有严格意义的类别。而GMM是根据对每个点进行一些概率的估计，即可能某个点，有0.3的概率属于第一个高斯模型，有0.4的概率属于第二个高斯模型，有0.3的概率属于第三个高斯模型，所以其对于每个点的分类，比较“soft”。
欢迎交流，批评指正。
