“`答：梯度爆炸：为解决梯度爆炸问题，Thomas Mikolov首先提出了一个简单的启发性的解决方案，就是当梯度大于一定阀值的时候，将它截断为一个较为小的数。 解决梯度弥散问题的两种方法： 第一种：将随机初始化W改为一个有关联的矩阵初始化。 第二种：使用ReLU代替sigmid函数。ReLU导数不是0就是1，因此，神经元的梯度将始终为1，而不会当梯度传播了一定时间之后变小 “` Was this helpful? YesNo 0 / 0 上一篇: 什么样的资料不适合深度学习? 下一篇: 为什么在LSTM模型中既存在sigmoid函数又存在tanh两种激活函数，二不是选择区中单独的一组?这样做的目的是什么? 发表回复 取消回复0 Your email address will not be published. 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。