第8章 提升方法

为什么从“样本权重与加法模型台”开始

第8章 提升方法不能只靠术语和最终分数验收。样本权重与加法模型台先把数据与符号冻结，再把模型空间、学习目标、计算步骤和独立评价分开；这样任何异常都能回退到第一项错误中间量，而不是在准确率或可视化之后补故事。

先预测弱学习器轮数从“验证最优”进入“过多”时，样本权重与加法模型台命中率与错分权重偏差风险怎样变化。交互数值只表达公开的因果方向，不冒充真实训练结果。

来源、版次与独立重写边界

清华大学出版社官方产品页确认李航《统计学习方法》第2版、2019年、ISBN 9787302517276和监督/无监督两篇结构；官方完整目录逐项核定22章、256个编号节/小节与附录A–E，共285个正式层级。第8章 提升方法未取得出版正文授权，目录只界定范围，不宣称复现原书正文。

第8章 提升方法的计算语义还与scikit-learn官方用户指南、NumPy SVD文档和SciPy统计分布文档中适用部分交叉核对；它们不替代本章推导，也不被误报为原书授权。中文解释、手算、图示、实验、反例与答案均为独立教学重写。

本章术语与数学合同

、、、、、。

本章不变量是“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”。数据身份、训练/验证/测试折分、预处理统计、特征顺序、随机种子、浮点精度与停止准则必须随实验保存；修复后从原始数据重算，不复用污染的缓存、责任度、矩阵分解、链状态或评价结果。

章专属数学骨架

$$D_{m+1,i}=\frac{D_{m,i}\exp[-\alpha_m y_iG_m(x_i)]}{Z_m}.$$

AdaBoost降低正确样本权重、提高错误样本权重，使下一轮基学习器聚焦当前难例。 实现还要检查张量或矩阵形状、有限值、概率归一、正交或KKT残差、目标单调性、梯度方向和停止容差。

核心机制与适用边界

1. 提升方法串行训练基学习器，后续轮次依赖前轮错误，与可并行自助集成机制不同。
2. AdaBoost根据加权错误率设置分类器权重，错误率越小投票权越大。
3. 训练误差可由归一化因子乘积上界，并在弱学习条件下快速下降，但训练误差低不等于测试风险低。
4. 前向分步算法逐次添加基函数和系数，AdaBoost可解释为指数损失下的特例。
5. 提升树以树为基函数，回归问题拟合残差，分类问题对应加法逻辑模型。
6. 梯度提升在函数空间沿负梯度方向拟合新树，学习率、树深和轮数共同控制复杂度。

官方目录逐项深读

第8章 提升方法

四级证据 1/13。 第8章 提升方法：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为第8章 提升方法。

对于第8章 提升方法这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.1 提升方法 AdaBoost算法

四级证据 2/13。 8.1 提升方法 AdaBoost算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1 提升方法 AdaBoost算法。

对于8.1 提升方法 AdaBoost算法这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.1.1 提升方法的基本思路

四级证据 3/13。 8.1.1 提升方法的基本思路：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1.1 提升方法的基本思路。

对于8.1.1 提升方法的基本思路这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.1.2 AdaBoost算法

四级证据 4/13。 8.1.2 AdaBoost算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1.2 AdaBoost算法。

对于8.1.2 AdaBoost算法这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.1.3 AdaBoost的例子

四级证据 5/13。 8.1.3 AdaBoost的例子：固定数据、基线、损失和错误代价，区分训练目标改善与独立任务收益。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1.3 AdaBoost的例子。

对于8.1.3 AdaBoost的例子这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.2 AdaBoost算法的训练误差分析

四级证据 6/13。 8.2 AdaBoost算法的训练误差分析：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.2 AdaBoost算法的训练误差分析。

对于8.2 AdaBoost算法的训练误差分析这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.3 AdaBoost算法的解释

四级证据 7/13。 8.3 AdaBoost算法的解释：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为第8章 提升方法。

对于8.3 AdaBoost算法的解释这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.3.1 前向分步算法

四级证据 8/13。 8.3.1 前向分步算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1 提升方法 AdaBoost算法。

对于8.3.1 前向分步算法这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.3.2 前向分步算法与 AdaBoost

四级证据 9/13。 8.3.2 前向分步算法与 AdaBoost：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1.1 提升方法的基本思路。

对于8.3.2 前向分步算法与 AdaBoost这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.4 提升树

四级证据 10/13。 8.4 提升树：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1.2 AdaBoost算法。

对于8.4 提升树这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.4.1 提升树模型

四级证据 11/13。 8.4.1 提升树模型：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.1.3 AdaBoost的例子。

对于8.4.1 提升树模型这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.4.2 提升树算法

四级证据 12/13。 8.4.2 提升树算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为8.2 AdaBoost算法的训练误差分析。

对于8.4.2 提升树算法这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

8.4.3 梯度提升

四级证据 13/13。 8.4.3 梯度提升：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定错分权重，只改变弱学习器轮数，用“每轮样本分布、基学习器错误率、alpha与归一化因子必须留存；弱学习器不优于随机时停止，验证集不参与重加权。”判断计算是否仍在适用边界内；观察点为第8章 提升方法。

对于8.4.3 梯度提升这个节点，先预测从“验证最优”切到“过多”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

三个必须主动触发的误区

练习、答案与285节点验证