Gradient Boosting — Gradient Boosting｜梯度提升

事实

逐轮拟合残差并叠加弱模型的集成学习方法。

人话

梯度提升像补作业：前一题错哪儿，后一轮就盯着那道补，越补越像标准答案。

常用于表格分类和回归，能持续修正前几轮错误。

相关概念

• 梯度下降
• 分类任务
• 回归
• Bias-Variance Tradeoff（偏差-方差权衡）

Gradient Descent
它借损失函数的梯度，决定每一轮该往哪儿补错。

Classification
它常被用于垃圾邮件识别、风控审批这类分类任务。

Regression
它也常做房价、销量这类连续数值预测。

Bias-Variance Tradeoff
树太多或太深时，可能压低偏差却抬高方差。