目录
Chain rule
Multi-output Perceptron
Multi-Layer Perceptron
- 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点
- For an output layer node k∈Kk∈K
∂E∂Wjk=Ojδk,δk=Ok(1−Ok)(Ok−tk)∂E∂Wjk=Ojδk,δk=Ok(1−Ok)(Ok−tk)
- For a hidden layer node j∈Jj∈J
∂E∂Wij=Oiδj,δj=Oj(1−Oj)∑k∈KδkWjk∂E∂Wij=Oiδj,δj=Oj(1−Oj)∑k∈KδkWjk
- 其中δkδk 可以看做是OjOj 的信息；δjδj 可以看做是OiOi 的信息
- 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
