（2020李宏毅）机器学习-半监督学习

文章目录

---

半监督学习

---

假设有R笔train data，每一笔train data有$x^r$,$\hat{y}^r$。假设$x^r$是一张image，$\hat{y}$是class label。semi-supervised learning是在label上面，是有另外一组unlabel的data，这组data记做$x^u$,这组data只有input，没有output。在做semi-superised learning时，U远远大于R(unlabel的数量远远大于label data的数量)。semi-surprised learning可以分成两种，一种是transductive learning，一种是inductive learning。这两种最简单的分法是：在做transductive的时候，你的unlabel data就是你的testing data，inductive learning 就是说：不把unlabel data考虑进来。

---

监督生成模型和半监督生成模型

---

监督生成模型

---

supervised generative model, 在supervised learning里面有一堆train example，分别是属于class1， class2。去估测class1, class2的probability $\left(\mathrm{P}\left(\mathrm{X} \mid \mathrm{C}_{\mathrm{i}}\right)\right)$
假设每一个class它的分布都是一个Gaussion distribution，估测说class1是从 $\mu$ 是 $\mu^{1}$, covariance是 $\Sigma$ 的Gaussion估测出来的， class2是从 $\mu$ 是 $\mu^{2}$, covariance是 $\Sigma$ 的Gaussion估测出来的。 那现在有了这些probability，有了这些 $\mu$

---

半监督生成模型

---

先初始化参数(class1,class2的几率，$\mu ^1,\mu ^2,\Sigma,$，这些值，用已经有label data先估测一个值，得到一组初始化的参数，这些参数统称$\theta$

• Step 1 先计算每一笔unlabel data的 posterior probability，根据现有的$\theta$
• Step2 算出这个几率以后呢, 就可以update你的model，$\mathrm{C}_{1}$是出现次数就是所有unlabel data它是$\mathrm{C}_{1}$posterior probability的和。所有unlabel data而是根据它的posterior probability决定它有百分之多少是属于$\mathrm{C}_{1}$, 有多少是属于 $\mathrm{C}_{2}, $ 把unlabel data的每一笔datax${ }^{\mathrm{u}}$根据它的posterior probability做相乘。如果这个$\mathrm{x}^{\mathrm{u}}$比较偏向class$1 \mathrm{C}^{1}$的 话, 它对class1的影响就大一点，反之就小一点。$\mathrm{C}_{2}$的 probability就是这样的做的$\mu^{1}, \mu^{2}, \sum$
• 这里的Step1就是Estep，而Step2就是Mstep (也就是熟悉的EM算法)

unlabel data$x^u$出现的几率(我不知道它是从claas1还是class2来的，所以class1，class2都有可能)就是它在$C_1$的posterior probability跟$C_1$这个class产生这笔unlabel data的几率加上$C_2$的posterior probability乘以$C_2$这个class产生这笔unlabel data的几率。把他们通通合起来，就是这笔unlabel data产生的几率。

---

假设一：Low-density Separation

---

self-training

---

Low-density separation最简单的方法是self-training。self-training就是说，我们有一些label data并且还有一些unlabel data。接下来从label data中去train一个model，这个model叫做$f\ast$,根据这个$f\ast$去label你的unlabel data。你就把$x^u$丢进$f\ast$,看它吐出来的y^u是什么，那就是你的label data。那这个叫做pseudo-label。那接下来你要从你的unlabel data set中拿出一些data，把它加到labeled data set里面。然后再回头去train你的$f\ast$

---

基于熵的正则化

---

---

假设二：Smoothness Assumption

---

---

聚类和标记

---

---

基于图的方法

---

Better Representation

最后一个方法是：Better Representation，这个方法的精神是：“去无存青，化繁为简”，等到unsupervised的时候再讲。 它的精神是这样子的：我们观察到的世界其实是很复杂的，我们在我们观察到的世界背后其实是有一些比较简单的东西在操控着我们这个复杂的世界，所以你只要能看透这个世界的假象，直指它的核心的话就可以让训练变得容易。