From 8b1ec74886eda2524129b4b2f8d0b028698059dd Mon Sep 17 00:00:00 2001 From: NLP-LOVE <52538954+NLP-LOVE@users.noreply.github.com> Date: Tue, 9 Jul 2019 20:49:25 +0800 Subject: [PATCH] Update README.md --- Machine Learning/3.2 GBDT/README.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/Machine Learning/3.2 GBDT/README.md b/Machine Learning/3.2 GBDT/README.md index 2493910..32da4eb 100644 --- a/Machine Learning/3.2 GBDT/README.md +++ b/Machine Learning/3.2 GBDT/README.md @@ -8,7 +8,7 @@ Boosting方法训练基分类器时采用串行的方式,各个基分类器之 Bagging与Boosting的串行训练方式不同,Bagging方法在训练过程中,各基分类器之间无强依赖,可以进行并行训练。 -### 1.2 GBDT原理 +### 1.2 GBDT原来是这么回事 GBDT的原理很简单,就是所有弱分类器的结果相加等于预测值,然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了,它里面的弱分类器的表现形式就是各棵树。 @@ -58,13 +58,13 @@ GBDT的原理很简单,就是所有弱分类器的结果相加等于预测值 所以,GBDT需要将多棵树的得分累加得到最终的预测得分,且每一次迭代,都在现有树的基础上,增加一棵树去拟合前面树的预测结果与真实值之间的残差。 -### 2. 梯度提升和梯度下降的区别和联系是什么? +## 2. 梯度提升和梯度下降的区别和联系是什么? 下表是梯度提升算法和梯度下降算法的对比情况。可以发现,两者都是在每 一轮迭代中,利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更 新,只不过在梯度下降中,模型是以参数化形式表示,从而模型的更新等价于参 数的更新。而在梯度提升中,模型并不需要进行参数化表示,而是直接定义在函 数空间中,从而大大扩展了可以使用的模型种类。 ![](http://wx3.sinaimg.cn/mw690/00630Defgy1g4tdwhqzsdj30rp0afdho.jpg) -### 3. **GBDT**的优点和局限性有哪些? +## 3. **GBDT**的优点和局限性有哪些? ### 3.1 优点 -- GitLab