“`原因：实际上就是反向传播梯度计算过程中，网络层数很深，w值和激活函数的导数值相乘大于1或者小于1的问题，如果是大于1，那么经历过很多个隐藏层梯度就会越来越大，即梯度爆炸，如果是小于1当然就是梯度消失
梯度消失：（1）隐藏层的层数过多；（2）采用了不合适的激活函数(更容易产生梯度消失，但是也有可能产生梯度爆炸)
梯度爆炸：（1）隐藏层的层数过多；（2）权重的初始化值过大
解决梯度消失问题：
<ul><li>预训练加微调</li><li>梯度剪切、权重正则（针对梯度爆炸）</li><li>使用不同的激活函数</li><li>使用batchnorm</li><li>使用残差结构</li><li>使用LSTM网络</li></ul>
“`
Was this helpful?
0 / 0