DNN的梯度更新方式

“`” 参考回答：

1）批量梯度下降法BGD

批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，其数学形式如下：

(1) 对上述的能量函数求偏导：

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190318/311436_1552884062866_4E715D0E1C4617CBE8F212947964BC27"">

(2) 由于是最小化风险函数，所以按照每个参数的梯度负方向来更新每个：

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190318/311436_1552884047122_960241992B0CE1D42A90F4D908F000B8"">

2）随机梯度下降法SGD

由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法（Stochastic Gradient Descent，简称SGD）正是为了解决批量梯度下降法这一弊端而提出的。

将上面的能量函数写为如下形式：

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190318/311436_1552884030295_CAEC35FD55855FA9FBF041489C41AE04"">

利用每个样本的损失函数对求偏导得到对应的梯度，来更新：

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190318/311436_1552884017945_47F8FE1B87BB9BAF08A32A9F44E5C67E"">

3）小批量梯度下降法MBGD

有上述的两种梯度下降法可以看出，其各自均有优缺点，那么能不能在两种方法的性能之间取得一个折衷呢？即，算法的训练过程比较快，而且也要保证最终参数训练的准确率，而这正是小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD）的初衷。

<pre><code> "“`