常用初始化方法
权值初始化,不良的权值初始化会导致输出层的输出值过大或者过小,从而引发梯度的消失或爆炸,最终导致我们的模型无法训练和使用。为了防止这种情况的发送,我们需要保证网络输出层的输出在一个合理的范围,就是要保证每一网络层的输出值的方差是1 ,遵循方差一致性原则,保证网络输出层的输出值不大不小。
所以有了以下的分布的权值初始化
分为四大类
总之最终目的就是将输出值控制在一个合理范围(合理的标准就是方差控制在1附近),防止梯度消失或者爆炸,不让训练瘫痪。
由此介绍一个函数
着重了解方差的变化尺度