gbdt原理(非常重要)

《gbdt原理(非常重要)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、GBDT算法原理简介weponwepon@pku.edu.cn2017年7月14日内容•泰勒公式•最优化方法•梯度下降法（Gradientdescendmethod）•牛顿法（Newton’smethod)•从参数空间到函数空间•从Gradientdescend到Gradientboosting•从Newton’smethod到NewtonBoosting•GradientBoostingTree算法原理•NewtonBoostingTree算法原理：详解XGBoost•更高效的工具包LightGBM•参考文献泰

2、勒公式•定义：泰勒公式是一个用函数在某点的信息描述其附近取值的公式。局部有效性泰勒公式•定义：泰勒公式是一个用函数在某点的信息描述其附近取值的公式。局部有效性∞??(?0?•基本形式：?(?)=?!?−?0?=0?(?)≈?(?0)+?′(?0)(?−?0)•一阶泰勒展开：?−?2?(?)≈?(?)+?′(?)(?−?)+?′′(?)00000•二阶泰勒展开：2泰勒公式•定义：泰勒公式是一个用函数在某点的信息描述其附近取值的公式。局部有效性∞??(?0?•基本形式：?(?)=?!?−?0?=0?(?)≈?(?0)

3、+?′(?0)(?−?0)•一阶泰勒展开：?−?2?(?)≈?(?)+?′(?)(?−?)+?′′(?)00000•二阶泰勒展开：2•迭代形式：假设??=??−1+??，将???在??−1处进行泰勒展开???=???−1+????2≈???−1+?′??−1??+?′′??−12梯度下降法（GradientDescendMethod）在机器学习任务中，需要最小化损失函数??，其中?是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种?0?迭代方法：选取初值，不断迭代，更新的值，进行损失函数的极小

4、化。梯度下降法（GradientDescendMethod）在机器学习任务中，需要最小化损失函数??，其中?是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种?0?迭代方法：选取初值，不断迭代，更新的值，进行损失函数的极小化。tt1•迭代公式：梯度下降法（GradientDescendMethod）在机器学习任务中，需要最小化损失函数??，其中?是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种?0?迭代方法：选取初值，不断迭代，更新的值，进行损失函数的极小化

5、。tt1•迭代公式：tt1•将L在处进行一阶泰勒展开：tt1LLtt1'1LL梯度下降法（GradientDescendMethod）在机器学习任务中，需要最小化损失函数??，其中?是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种?0?迭代方法：选取初值，不断迭代，更新的值，进行损失函数的极小化。tt1•迭代公式：tt1•将L在处进行一阶泰勒展开：tt1LLtt1'1LL

6、tt1'1ttt1't1•要使得LL，可取：L，则：L梯度下降法（GradientDescendMethod）在机器学习任务中，需要最小化损失函数??，其中?是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种?0?迭代方法：选取初值，不断迭代，更新的值，进行损失函数的极小化。tt1•迭代公式：tt1•将L在处进行一阶泰勒展开：tt1LLtt1'1LLtt

7、1'1ttt1't1•要使得LL，可取：L，则：L这里是步长，可通过linesearch确定，但一般直接赋一个小的数。牛顿法（Newton’sMethod）tt1•将L在处进行二阶泰勒展开：2tt1't1''t1LLLL2牛顿法（Newton’sMethod）tt1•将L在处进行二阶泰勒展开：2tt1't1''t1LLLL2为了简化分析过程，假设参数是

8、标量（即只有一维），则可将一阶和二阶导数分别记为g和h：2tt1LLgh2牛顿法（Newton’sMethod）tt1•将L在处进行二阶泰勒展开：2tt1't1''t1LLLL2为了简化分析过程，假设参数是标量（即只有一维），则可将一阶和二阶导数分别记为g和h：2tt1LLgh