逻辑回归推理 逻辑回归推导过程

文章目录

• 基本认识
• 逻辑回归模型
• 逻辑回归模型的损失函数：交叉熵损失
• 损失函数最小值求解推导
• 迭代公式的向量化

基本认识

在评分卡项目中，如果需要构建一个标准的评分卡模型，就只能采用逻辑回归模型，因为其它支持概率输出的分类模型只能给出样本的总分值，没有办法给出每个变量的分值，以及每个变量不同取值的分值，也可以理解成不能看到每个特征对总分的影响

线性回归简单回顾

线性回归模型是用属性线性组合来预测目标变量，而每个属性的权重反映了在该模型中属性的重要程度，即权重越大，则在该模型中对目标变量的预测能力越强

逻辑回归是一个广义的线性模型，在普通的线性函数加了sigmoid映射，映射到0-1之间，一般0.5是一个阈值，来达到一个二分类的效果（本文后续只给出sigmoid的推导，softmax多分类推导请看博主之前的笔记）

逻辑回归模型

逻辑回归模型的损失函数：交叉熵损失

根据y的取值可以如下表示：

可以合并如下：

根据极大似然估计，上面式子取似然函数：

比如三个样本同时出现的概率P = p1 * p2 * p3

由于连乘不好计算，所以对两边同时取对数变成连加的形式：

这个函数就是损失函数，求这个函数的最大值也就意味着总概率越大。
但是我们一般更希望求损失函数的最小值，所以在上述函数前面加负号：

这就形成了逻辑回归的损失函数：交叉熵损失

所以我们可以得出结论，损失函数的确定是根据极大似然估计来的

模型训练的过程也就是求损失函数最小值的过程

损失函数最小值求解推导

此处用梯度下降，最小二乘法请参考博主之前的文章

首先明确 θ 更新方程

对 θ 求偏导

分开求导再相乘即可

sigmoid求导如下：

上述整合

迭代公式的向量化