第18章 迁移学习

第18章 迁移学习覆盖3个权威目录层级，以最小二乘主线、图解推导和可复现实验重建原书核心。

为什么从最小二乘开始

、、、、、共同构成本页坐标。通过重要性加权适配训练与测试分布差异，区分输入分布变化的协变量移位和类别先验变化的类别平衡移位。

杉山将以最小二乘法作为统一入口，因为设计矩阵、平方损失和线性方程把模型表示、求解与泛化问题同时暴露出来。加入约束得到正则化与稀疏学习，替换损失得到鲁棒学习和分类，加入核得到非线性模型，加入图结构得到半监督与降维，加入密度比则能处理异常与分布移位。统一形式不意味着任务相同，每次扩展都必须重新声明训练信号与评价风险。

实验固定样本、特征构造、随机种子、数据折分与数值容差。训练阶段保存设计矩阵、核矩阵、损失分解、正则强度、梯度或线性系统残差；模型选择阶段保存每个候选在训练折与验证折的结果；测试集直到最终选择完成后才打开。这样可以区分模型机制、优化误差和数据抽样误差。

数学骨架与可核查量

经验风险把样本损失汇总为训练目标：

f^=arg⁡min⁡f∈F1n∑i=1nℓ ⁣(yi,f(xi)).\widehat{f}=\arg\min_{f\in\mathcal{F}}\frac{1}{n}\sum_{i=1}^{n}\ell\!\left(y_i,f(x_i)\right).

约束或惩罚限制模型容量：

θ^λ=arg⁡min⁡θ∥Φθ−y∥22+λ Ω(θ).\widehat{\theta}_{\lambda}=\arg\min_{\theta}\left\|\Phi\theta-y\right\|_2^2+\lambda\,\Omega(\theta).

核展开把非线性预测写成训练样本的相似度组合：

f(x)=∑j=1nαjk(x,xj),Kij=k(xi,xj).f(x)=\sum_{j=1}^{n}\alpha_j k(x,x_j),\qquad K_{ij}=k(x_i,x_j).

模型选择只估计未见样本风险，不证明训练目标为真：

R^val(λ)=1m∑r=1mℓ ⁣(yrval,fλ(xrval)).\widehat{R}_{\mathrm{val}}(\lambda)=\frac{1}{m}\sum_{r=1}^{m}\ell\!\left(y_r^{\mathrm{val}},f_{\lambda}(x_r^{\mathrm{val}})\right). 
Phi = basis(x_train);
theta = solve(Phi, y_train, lambda);
assert(first_divergence(trace(theta), expected_trace) == predicted_stage);

机制辨析

  1. 协变量移位假设给定输入的目标关系不变而输入边缘分布改变，用测试对训练密度比重加权训练风险。
  2. 类别平衡变化假设类条件输入分布不变而类别先验改变，可通过混淆与无标签测试输入估计新先验并校正预测。

迁移前先明确保持不变的是条件标签分布还是类条件输入分布，两种假设对应不同的权重估计。密度比极端时，有效样本量会骤降，应报告权重分位数、裁剪阈值和支持集重叠。加权模型必须与未加权基线在目标域独立评价集上比较，重叠不足时应拒绝迁移。有效样本量可用权重和的平方除以权重平方和估计；它比原始样本数更能揭示少数大权重支配风险。协变量移位还要检验源域与目标域的条件关系是否近似稳定，类别平衡移位则要核对类条件特征。两项都不成立时，单一密度比没有无偏保证，应改为收集目标标签或扩大模型假设。复现实验需同时保存源域风险、加权风险、目标域风险和权重估计误差，并通过裁剪前后敏感性曲线说明结论不由少数样本决定。若裁剪阈值稍变就反转结论，或目标支持集之外仍需大量预测，验收应明确判定迁移失败而不是选择最有利参数。

同一公式可以有多个等价表达，但实现应避免显式矩阵求逆。正规方程、对偶问题、核技巧或图拉普拉斯都要通过维度、对称性、半正定性、KKT 条件或残差检查。训练误差下降不是停止分析的理由；条件数过大、权重爆炸或验证误差反弹都说明解不可靠。

权威目录逐项讲解

第18章 迁移学习

协变量移位假设给定输入的目标关系不变而输入边缘分布改变，用测试对训练密度比重加权训练风险。

验证“第18章 迁移学习”时，在“冻结训练样本”固定输入和预测量，再进入“构造特征与核”只改变一个条件。保存设计矩阵或核矩阵的维度、目标函数分解、求解停止状态与留出误差；若最终分数改善但中间结构没有按机制变化，先排查泄漏、数值误差和随机性。

这一主题的通过标准包含定义、推导、算法和边界四层：能解释它优化什么，写出关键量之间的关系，复现最小 MATLAB 风格实验，并构造一个破坏前提的反例。修复后清空派生产物，从原始样本重新执行整条证据链。

18.1 协变量移位下的迁移学习

类别平衡变化假设类条件输入分布不变而类别先验改变，可通过混淆与无标签测试输入估计新先验并校正预测。

验证“18.1 协变量移位下的迁移学习”时，在“构造特征与核”固定输入和预测量，再进入“写出经验风险”只改变一个条件。保存设计矩阵或核矩阵的维度、目标函数分解、求解停止状态与留出误差；若最终分数改善但中间结构没有按机制变化，先排查泄漏、数值误差和随机性。

这一主题的通过标准包含定义、推导、算法和边界四层：能解释它优化什么，写出关键量之间的关系，复现最小 MATLAB 风格实验，并构造一个破坏前提的反例。修复后清空派生产物，从原始样本重新执行整条证据链。

18.2 类别平衡变化下的迁移学习

协变量移位假设给定输入的目标关系不变而输入边缘分布改变，用测试对训练密度比重加权训练风险。

验证“18.2 类别平衡变化下的迁移学习”时，在“写出经验风险”固定输入和预测量，再进入“求解参数”只改变一个条件。保存设计矩阵或核矩阵的维度、目标函数分解、求解停止状态与留出误差；若最终分数改善但中间结构没有按机制变化，先排查泄漏、数值误差和随机性。

这一主题的通过标准包含定义、推导、算法和边界四层：能解释它优化什么，写出关键量之间的关系，复现最小 MATLAB 风格实验，并构造一个破坏前提的反例。修复后清空派生产物，从原始样本重新执行整条证据链。

常见失败与边界

本章回顾

通过重要性加权适配训练与测试分布差异，区分输入分布变化的协变量移位和类别先验变化的类别平衡移位。 验收时必须从固定样本预测矩阵、损失和参数，解释约束或数据关系为何改变解，并在失败样本中找到第一处违背假设的位置。最终结论要求：明确哪一条件分布保持不变，密度比只用可获得样本估计；权重方差、支持集重叠和未加权基线共同报告。

复习本章（6 题）

讨论

评论区加载中…