交叉熵(CrossEntropy)是常见的损失函数,本文详细推导一下它的梯度,面试大厂或者工程实践中都可能会用到。

前向传播

假设分类任务类别数是

手推公式之“交叉熵”梯度_人工智能

手推公式之“交叉熵”梯度_算法_02

手推公式之“交叉熵”梯度_机器学习_03

手推公式之“交叉熵”梯度_深度学习_04

手推公式之“交叉熵”梯度_深度学习_05

手推公式之“交叉熵”梯度_机器学习_06

手推公式之“交叉熵”梯度_python_07

手推公式之“交叉熵”梯度_人工智能_08