第17章 监督降维

第17章 监督降维覆盖3个权威目录层级，以最小二乘主线、图解推导和可复现实验重建原书核心。

为什么从最小二乘开始

、、、、、共同构成本页坐标。让标签参与投影选择：判别分析扩大类间并压缩类内变化，充分降维则寻找不丢失目标条件信息的最低维表示。

杉山将以最小二乘法作为统一入口，因为设计矩阵、平方损失和线性方程把模型表示、求解与泛化问题同时暴露出来。加入约束得到正则化与稀疏学习，替换损失得到鲁棒学习和分类，加入核得到非线性模型，加入图结构得到半监督与降维，加入密度比则能处理异常与分布移位。统一形式不意味着任务相同，每次扩展都必须重新声明训练信号与评价风险。

实验固定样本、特征构造、随机种子、数据折分与数值容差。训练阶段保存设计矩阵、核矩阵、损失分解、正则强度、梯度或线性系统残差；模型选择阶段保存每个候选在训练折与验证折的结果；测试集直到最终选择完成后才打开。这样可以区分模型机制、优化误差和数据抽样误差。

数学骨架与可核查量

经验风险把样本损失汇总为训练目标：

f^=arg⁡min⁡f∈F1n∑i=1nℓ ⁣(yi,f(xi)).\widehat{f}=\arg\min_{f\in\mathcal{F}}\frac{1}{n}\sum_{i=1}^{n}\ell\!\left(y_i,f(x_i)\right).

约束或惩罚限制模型容量：

θ^λ=arg⁡min⁡θ∥Φθ−y∥22+λ Ω(θ).\widehat{\theta}_{\lambda}=\arg\min_{\theta}\left\|\Phi\theta-y\right\|_2^2+\lambda\,\Omega(\theta).

核展开把非线性预测写成训练样本的相似度组合：

f(x)=∑j=1nαjk(x,xj),Kij=k(xi,xj).f(x)=\sum_{j=1}^{n}\alpha_j k(x,x_j),\qquad K_{ij}=k(x_i,x_j).

模型选择只估计未见样本风险，不证明训练目标为真：

R^val(λ)=1m∑r=1mℓ ⁣(yrval,fλ(xrval)).\widehat{R}_{\mathrm{val}}(\lambda)=\frac{1}{m}\sum_{r=1}^{m}\ell\!\left(y_r^{\mathrm{val}},f_{\lambda}(x_r^{\mathrm{val}})\right). 
Phi = basis(x_train);
theta = solve(Phi, y_train, lambda);
assert(first_divergence(trace(theta), expected_trace) == predicted_stage);

机制辨析

  1. 判别分析优化类间散度与类内散度之比，投影方向直接服务分类，但类别不平衡和奇异协方差会扭曲结果。
  2. 充分降维要求给定低维投影后目标与原输入条件独立，保留预测所需信息而删除无关维度，可用核化条件关系估计。

监督降维把标签用于学习投影，因此投影矩阵、正则强度和目标维数都必须在训练折内拟合。验证时同时比较原空间分类器、无监督降维和监督降维，并检查少数类召回与投影稳定性。若类内散度奇异，应使用收缩估计或截断谱，而不能借测试标签挑选可逆子空间。目标维数和下游分类器超参数需要在同一嵌套验证内联合选择，否则先看全数据投影再交叉验证会高估收益。还应以主角度或子空间距离比较重采样后的投影；准确率相近但方向剧烈漂移时，不能宣称找到稳定的充分表示。最小复现应保存中心化参数、散度矩阵谱、投影正交误差和每折下游风险，以便判断改进来自监督结构还是数值偶然。

同一公式可以有多个等价表达，但实现应避免显式矩阵求逆。正规方程、对偶问题、核技巧或图拉普拉斯都要通过维度、对称性、半正定性、KKT 条件或残差检查。训练误差下降不是停止分析的理由；条件数过大、权重爆炸或验证误差反弹都说明解不可靠。

权威目录逐项讲解

第17章 监督降维

判别分析优化类间散度与类内散度之比，投影方向直接服务分类，但类别不平衡和奇异协方差会扭曲结果。

验证“第17章 监督降维”时，在“冻结训练样本”固定输入和预测量，再进入“构造特征与核”只改变一个条件。保存设计矩阵或核矩阵的维度、目标函数分解、求解停止状态与留出误差；若最终分数改善但中间结构没有按机制变化，先排查泄漏、数值误差和随机性。

这一主题的通过标准包含定义、推导、算法和边界四层：能解释它优化什么，写出关键量之间的关系，复现最小 MATLAB 风格实验，并构造一个破坏前提的反例。修复后清空派生产物，从原始样本重新执行整条证据链。

17.1 与分类问题相对应的判别分析

充分降维要求给定低维投影后目标与原输入条件独立，保留预测所需信息而删除无关维度，可用核化条件关系估计。

验证“17.1 与分类问题相对应的判别分析”时，在“构造特征与核”固定输入和预测量，再进入“写出经验风险”只改变一个条件。保存设计矩阵或核矩阵的维度、目标函数分解、求解停止状态与留出误差；若最终分数改善但中间结构没有按机制变化，先排查泄漏、数值误差和随机性。

这一主题的通过标准包含定义、推导、算法和边界四层：能解释它优化什么，写出关键量之间的关系，复现最小 MATLAB 风格实验，并构造一个破坏前提的反例。修复后清空派生产物，从原始样本重新执行整条证据链。

17.2 充分降维

判别分析优化类间散度与类内散度之比，投影方向直接服务分类，但类别不平衡和奇异协方差会扭曲结果。

验证“17.2 充分降维”时，在“写出经验风险”固定输入和预测量，再进入“求解参数”只改变一个条件。保存设计矩阵或核矩阵的维度、目标函数分解、求解停止状态与留出误差；若最终分数改善但中间结构没有按机制变化，先排查泄漏、数值误差和随机性。

这一主题的通过标准包含定义、推导、算法和边界四层：能解释它优化什么，写出关键量之间的关系，复现最小 MATLAB 风格实验，并构造一个破坏前提的反例。修复后清空派生产物，从原始样本重新执行整条证据链。

常见失败与边界

本章回顾

让标签参与投影选择：判别分析扩大类间并压缩类内变化，充分降维则寻找不丢失目标条件信息的最低维表示。 验收时必须从固定样本预测矩阵、损失和参数，解释约束或数据关系为何改变解，并在失败样本中找到第一处违背假设的位置。最终结论要求：降维映射只在训练数据拟合并应用于验证数据，维度选择不看测试标签；类内矩阵奇异和小样本问题有明确正则。

复习本章（6 题）

讨论

评论区加载中…