一、损失函数的优化
如果我们想处理分类问题，选择损失函数时，一个选项是交叉熵损失函数（the cross-entropy cost function）。交叉熵损失可以缓解之前提到的由于激活函数的输入落在函数偏左或偏右侧导致的导数过小而训练缓慢的问题。
原因在于：如果使用均方误差作为激活函数
对于单层神经网络单个神经元而言：
其中a是输出
交叉熵损失表示如下：
此时：
对多层的神经网络而言：
不需要对sigmoid函数求导，交叉熵损失的大小取决于输出误差，输出误差越小，交叉熵损失越小。
注意：交叉熵损失+sigmoid主要针对二分类问题。
另一个有助于缓解学习缓慢问题的方法是：softmax+log-likelihood，主要针对多分类问题
softmax是sigmoid的推广+优化（不纯是推广，softmax在二分类情况下和sigmoid也不一样）
softmax表示为：
这就能体现此消彼长的关系。
从softmax层的输出可以看作是一个概率分布，也就是说，一种情况的概率上升，其他情况的概率就下降。
对数似然函数：
此时：
二、过拟合和正则化
评估一个模型的正确方法是：看它能否对未训练过的数据进行正确的预测。
增加训练数据量是减轻过拟合的方式，另一种方法是减小网络的规模，但是规模较大的网络往往性能更强，因此我们并不愿意用这种方式。为了解决这个问题，我们采取正则化（regularization）的方式。
① L2正则化，权重衰减
最常用的正则化方法是：权重衰减（weight decay），也称为L2正则化（L2 regularization）。中心思想是：为损失函数增加一个正则项。
拿交叉熵损失函数举例，如果引入正则项：
，它是正则化参数（regularization parameter）
总得来说，损失函数可以写成：
直观地看，正则项存在的意义是让网络的权重比较小。
偏置的更新不受影响，权重的更新发生改变：
其中，
也被称为权重衰减（weight decay）。
② L1正则化（L1 regularization）
其中，sgn(w)是指w的符号。
③ Dropout
dropout不修改损失函数，而是修改网络本身。
假如我们随机地临时删去一半神经元，每使用一个mini batch的样本训练，都会先回复原来的神经元，重新选择神经元删除。
用完整的网络工作时，把未被隐藏过的神经元的权重减半。
dropout就好比将很多不同的神经网络叠加后平均。不同的神经网络有不同的过拟合倾向，用dropout可以减弱整体的过拟合。
④ 人为地扩大训练数据
比如说，把一个数字的图像稍微倾斜，就是一张完全不同的图像了。三、优化梯度下降
采取基于势的梯度下降优化，该方法引入速度的概念，梯度改变时速度也改变。还引入摩擦项，倾向于减小速度。
原来的梯度下降更新方法：
引入势后：
是控制系统衰减或阻力的超参数，它的值为1时，无阻力，它的值为0时，阻力为无穷大。
可以让系统不会过调（overshooting），被称为动量系数（momentum co-efficient）
这一方法可以与反向传播同时使用，也不影响随机选择mini-batch，因此现在它被广泛地使用。四、其他优化的方法
可以用修正线性神经元（ReLU）代替sigmoid神经元。
对比Sigmoid系主要变化有三点：①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性
总得来说，relu的梯度更易计算，不会出现sigmoid那样在两侧训练缓慢的问题，现在也被广泛地使用。
