在线性回归中,y=wTx y = w T x ,是用直线去拟合数据,实现最小二乘意义下的最小预测误差。

在逻辑回归中:logit(p)=log(p1−p)=wTx l o g i t ( p ) = l o g ( p 1 − p ) = w T x ,可以看作是用直线去拟合Logit函数,通过极大似然估计出参数,使得在该参数下,能以最大概率生成当前的样本。

这里要说明的是,线性回归解决的是回归问题,而逻辑回归是分类问题,但两者的形式非常的相似,上面两式的右边也是一致的。

Logistic回归通过对数据分类边界的拟合来实现分类。而这条数据分类边界即为直线,这也是它为什么可以被看作是一个广义线性模型的原因

在线性回归中,回归的因变量y是连续的,没有明确的上下限,因此可以用线性模型来拟合。而逻辑回归应用于分类时,因变量,也就是类别y只有0和1,满足二项分布,这是连续的线性模型无法拟合的。因此,需要选择最佳的连接函数,它就是Logit函数。

这里给出Logit函数的图像

连续变量纳入多元logistic回归 连续变量做logistic_logit

可以看出Logit函数能把自变量从(0,1)连续单调地映射到正负无穷,这里类别y的0和1值分别对应(0,0.5)和(0.5,1)的概率值p。

另外,把wTx w T x 看作一个整体,反解出p,就会看到我们熟悉的sigmoid函数


p=11+e−wTx=sigmoid(wTx) p = 1 1 + e − w T x = s i g m o i d ( w T x )

这里的sigmoid函数有非线性化和限幅的作用,限制在(0,1)之间,才能够用于分类。

总结:

Logistic回归是对特征(feature)做加权相加后,输入给Sigmoid函数,用Sigmoid函数的输出来确定二分类的结果。

其中的logistic就是sigmoid函数,因为它也叫logistic函数。它与logit函数互为反函数。

其中的回归在这里的含义可以理解为最佳拟合,表示要找到最佳拟合参数集用于对特征加权。训练分类器就是用最优化方法去寻找最佳拟合参数。