label smoothing理论推导

我们知道，softmax容易使模型过度自信过拟合，label smoothing作为一种改善方案可以提高模型的泛化能力。

label_smoothing

上篇博客推导过反向求导的结果如下​​softmax求导/label_smoothing求导/知识蒸馏求导​$\hat{y}_i=\text{softmax}{(z_i)}=\frac{\exp{z_i}}{\sum_{j=1}^K\exp{z_j}}\\ loss=-\sum_{i=1}^Ny_i\log\hat{y}_i$
其中
$y_i=\left\{\begin{array}{ll}{1-\epsilon} & {i=true} \\ {\cfrac{\epsilon}{K-1}} & {otherwise}\end{array}\right.$
求导结果与上面softmax相同
$\frac{\partial{loss}}{\partial{z_i}}=\hat{y}_i-y_i$
令导数等于0，将$\hat{y}_i$代入
$\left\{\begin{array}{ll} \cfrac{\exp{(z_i)}}{\exp{(z_i)}+\sum_{j\neq i}\exp{(z_j)}}=1-\epsilon & {i=true} \\ \cfrac{\exp{(z_i)}}{\sum_j\exp{(z_j)}}=\cfrac{\epsilon}{K-1} & {i\neq true}\end{array}\right.$
假定错误类别的概率相等，化简上式得：
$\left\{\begin{array}{ll} z_i=\log{\left({\cfrac{(1-\epsilon)(K-1)}{\epsilon}}\right)}+z_j & {i=true} \\ z_i=\log{\left({\cfrac{(1-\epsilon)(K-1)}{\epsilon}}\right)}+z_j & {i\neq true}\end{array}\right.$
将$i\neq true$时记为$\alpha$得：
$z_i^{*}=\left\{\begin{array}{ll} \log{\left({\cfrac{(1-\epsilon)(K-1)}{\epsilon}}\right)}+\alpha & {i=true} \\ \alpha & {i\neq true}\end{array}\right.$
所以，使用label smoothing编码，损失函数为交叉熵的话，错误类别的logit不会要求是负无穷，当正确类别和错误类别的logit有一定误差，接近$\log{\left({\cfrac{(1-\epsilon)(K-1)}{\epsilon}}\right)}$的情况下，loss就会很小趋于0。
简单的label smoothing为什么能够涨点呢