Ridge 惩罚三项逻辑回归的迭代过程

逻辑回归的代价函数2.3-吴恩达老师课程

逻辑回归的代价函数（也翻译作成本函数）。

为什么需要代价函数：

代价函数是衡量我们训练的模型的好坏程度。

为了训练逻辑回归模型的参数$w$和参数$b$，我们需要一个代价函数，通过训练代价函数来得到参数$w$和参数$b$。先看一下逻辑回归的输出函数：

为了让模型通过学习调整参数，你需要给予一个$m$样本的训练集，这会让你在训练集上找到参数$w$和参数$b$，来得到你的输出。

对训练集的预测值$\hat{y}$，我们更希望它会接近于训练集中的$y$值。

损失函数：

损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:$L(\hat{y},y)$

通过损失函数来衡量预测输出值和实际值有多接近。一般我们用预测值和实际值的平方差或者它们平方差的一半，但是通常在逻辑回归中我们不这么做，因为当我们在学习逻辑回归参数的时候，会发现我们的优化目标不是凸优化，只能找到多个局部最优值，梯度下降法很可能找不到全局最优值，虽然平方差是一个不错的损失函数，但是我们在逻辑回归模型中会定义另外一个损失函数。

凸优化

逻辑回归中用到的损失函数是:$L(\hat{y},y)=-ylog(\hat{y})-(1-y)log(1-\hat{y})$

当使用平方误差作为损失函数的时候，你会想要让这个误差尽可能地小，对于这个逻辑回归损失函数，我们也想让它尽可能地小，为了更好地理解这个损失函数怎么起作用，我们举两个例子：
当$y=1$时损失函数$L=-log(\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能大，因为sigmoid函数取值$[0,1]$，所以$\hat{y}$会无限接近于1。
当$y=0$时损失函数$L=-log(1-\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能小，因为sigmoid函数取值，所以会无限接近于0。
就是如果$y$等于1，我们就尽可能让$\hat{y}$变大，如果等于0，我们就尽可能让$\hat{y}$变小。

损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对$m$个样本的损失函数求和然后除以$m$:$J(w,b)={{1}\over{m}}sum_{i=1}^n(-y^{(i)}log\hat{y}^{(i)}-(1-y^{(i)})log(1-\hat{y}^{(i)}))$损失函数只适用于像这样的单个训练样本，而代价函数是参数的总代价，所以在训练逻辑回归模型时候，我们需要找到合适的$w$和$b$，来让代价函数$J$的总代价降到最低。