gbdt推导和适用场景

“`” 参考回答：

1）明确损失函数是误差最小

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552653124869_EF9E9922885E2C62406891E4B3B65F31"">

2）构建第一棵回归树

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552653108200_7B75C800713DA165E37727C5020EFA80"">

3）学习多棵回归树

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552653168282_889B72178AB5071E4E2BB49C30005340"">

迭代：计算梯度/残差gm(如果是均方误差为损失函数即为残差)

步长/缩放因子p,用 a single Newton-Raphson step 去近似求解下降方向步长,通常的实现中 Step3 被省略,采用 shrinkage 的策略通过参数设置步长,避免过拟合：第m棵树fm=p<em>gm；模型Fm=Fm-1+p</em>gm

4）F(x)等于所有树结果累加

<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://uploadfiles.nowcoder.com/images/20190315/311436_1552653191923_4B98744FC993A4F5636CD930199EFCB4"">

适用场景：GBDT几乎可用于所有回归问题（线性/非线性），GBDT的适用面非常广。亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）。

<pre><code> "“`