“` 梯度消失：根据链式法则，当每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，经过多层传播之后，误差的输入层的偏导会趋于0，可以用relu激活函数来解决，因为relu=max（0，X），偏导数为1，不会造成梯度消失，而弊端是有可能会产生死神经元 梯度膨胀：每一层神经元对上一层的输出偏导乘上权重结果都大于1的话，经过多层传播之后，误差对输入层的偏导会无穷大，也可以通过激活函数来解决 “` Was this helpful? YesNo 0 / 0 上一篇: 为什么朴素贝叶斯如此朴素？ 下一篇: 哪些机器学习算法不需要做归一化处理？ 发表回复 取消回复0 Your email address will not be published. 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。