1、分类和回归
①回归问题的应用场景（预测的结果是连续的，例如预测明天的温度，23，24，25度）
回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法（LR）。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。
②分类问题的应用场景（预测的结果是离散的，例如预测明天天气-阴，晴，雨）
分类问题是用于将事物打上一个标签，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。最常见的分类方法是逻辑回归，或者叫逻辑分类。
2、朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布。然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
①计算先验概率（标签结果的概率）
P(Y=1)=9/15 、P(Y=-1)=6/15
②条件概率（特征的概率，在标签的条件下）
P(X1=1 | Y=1)=2/9 (标签为1的共有9个数据，特征X1=1的有2个)
P(X1=2 | Y=1)=3/9、P(X1=3 | Y=1)=4/9、P(X2=S | Y=1)=1/9 、P(X2=M | Y=1)=4/9、P(X2=L | Y=1)=4/9
P(X1=1 | Y=-1)=3/6、P(X1=2 | Y=-1)=2/6、P(X1=3 | Y=-1)=1/6
P(X2=S | Y=-1)=3/6 、P(X2=M | Y=-1)=2/6、P(X2=L | Y=-1)=1/6
③后验概率（给出一个特征向量，进行预测，如给定X=(2,S)T ）
公式：Y=argmax P(Y=Ck) Π P(Xi | Y=Ck)
P(Y=1)P(X1=2 | Y=1)P(X2=S | Y=1)=9/15 * 3/9 *1/9=1/45
P(Y=-1)P(X1=2 | Y=-1)P(x2=S | Y=-1)=6/15 * 2/6 * 3/6=1/15
因此，预测Y=-1
④用极大似然估计可能会出现要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决上一问题的方法是采用贝叶斯估计，公式如下：
先验概率：P(Y=Ck) =(num+λ)/(N+Kλ ) (num是Y=Ck的个数，N是总样本个数，K是分类的个数，常取λ =1)
条件概率：P(X=xi|Y=Ck)=(num+λ)/(N+Sλ).(num是Y=Ck条件下X=xi的个数;N是Y=Ck的个数,Si是对应特征xi的类型个数）
A1={1，2，3}、A2={S，M，L}、C={1，-1} （K的取值是C的个数，S的取值是对应特征类型的个数，第一个特征的对应的S的值是3，第二个特征对应的S的值也为3）
P(Y=1)=(9+1)/(15+2)=10/17 、P(Y=-1)=(6+1)/(15+2)=7/17 (分类结果为2类)
P(X1=1 | Y=1)=(2+1)/(9+3)=3/12 (标签为1的共有9个数据，特征X1=1的有2个,X1/X2特征类别都是3类)
P(X1=2 | Y=1)=4/12、P(X1=3 | Y=1)=5/12、P(X2=S | Y=1)=2/12 、P(X2=M | Y=1)=5/12、P(X2=L | Y=1)=5/12
P(X1=1 | Y=-1)=4/9、P(X1=2 | Y=-1)=3/9、P(X1=3 | Y=-1)=2/9
P(X2=S | Y=-1)=4/9 、P(X2=M | Y=-1)=3/9、P(X2=L | Y=-1)=2/9
P(Y=1)P(X1=2 | Y=1)P(X2=S | Y=1)=10/17 * 4/12 *2/12=5/153
P(Y=-1)P(X1=2 | Y=-1)P(x2=S | Y=-1)=7/17 * 3/9 * 4/9=28/459
因此，Y=-1.
