附录 数学基础

为什么从问题合同开始

、、、、、共同构成本页的学习坐标。把矩阵运算、优化条件和常用概率分布整理为全书可随时回查的计算工具，并强调维度、约束和数值稳定。

机器学习不是先选流行算法再寻找数据，而是先写清任务对象、可观测属性、目标变量或反馈、数据生成过程、允许使用的信息和错误代价。训练集用于估计模型，验证集用于选择结构与超参数，测试集只在所有决定冻结后评价一次。聚类、半监督和强化学习虽然反馈形式不同，也必须给出对应的独立证据，不能把训练目标本身当作泛化结论。

每次实验记录样本标识、折分策略、预处理拟合范围、特征顺序、随机种子、数值精度、依赖版本和停止规则。模型训练保存每步目标分解、关键状态与更新；模型选择保存所有候选而不是只留最好一次；失败样本与成功样本使用同一管线。这样才能区分概念假设错误、数据泄漏、数值错误、优化未收敛和抽样波动。

阅读时先预测：若只改变一个条件，第一处应该变化的是输入表示、模型状态、目标项、参数更新、预测分布还是评价轨迹？随后运行最小样本并在第一条不一致处停止。继续观察下游准确率通常只会增加噪声。任何修复都清空派生产物并从原始数据重放，防止错误状态污染后续结论。

数学骨架与可核查量

经验风险把冻结训练样本上的逐例损失聚合：

$$\widehat R(f)=\frac{1}{m}\sum_{i=1}^{m}\ell\bigl(f(x_i),y_i\bigr).$$

结构约束或先验通过正则项进入训练目标：

$$\mathcal J(\theta)=\widehat R(f_\theta)+\lambda\Omega(\theta).$$

模型选择在验证数据上完成，测试风险不得参与选择：

$$\hat\lambda=\arg\min_{\lambda\in\Lambda}\widehat R_{\mathrm{valid}}(f_\lambda),\qquad \widehat R_{\mathrm{test}}(f_{\hat\lambda})\text{ once}.$$

本页专属可核查关系为：

$$\nabla_{\boldsymbol x}\frac12\lVert A\boldsymbol x-\boldsymbol b\rVert_2^2=A^{\mathsf T}(A\boldsymbol x-\boldsymbol b).$$

最小二乘梯度同时展示矩阵形状、转置和链式法则，是线性模型、表示学习与数值优化的共同基础。 实现时同时检查输入输出形状、有限值、约束残差、目标变化方向、概率归一或守恒关系，并用可枚举小样本或有限差分建立独立基线。

机制辨析

1. 附录为正文提供统一符号，不是脱离算法的公式表。每个工具都应回到一个最小样本，核对输入形状、输出范围和边界条件。
2. 矩阵部分覆盖向量、矩阵乘法、转置、逆、迹、行列式、特征值和奇异值。数值实现优先使用线性方程求解或分解，不显式求逆。
3. 优化部分区分无约束、一阶条件、凸优化、拉格朗日乘子、对偶和KKT条件。梯度为零只给驻点，是否全局最优取决于问题结构。
4. 概率分布部分回顾随机变量、联合与条件概率、期望、方差、常见离散和连续分布以及大数定律。密度值可以大于一，但积分必须为一。

本章机制必须与替代解释分开。例如训练风险下降可能来自容量增加、泄漏、更多计算或随机好运，而不一定来自目标机制；概率输出可能已归一却未校准；凸目标可全局求解却仍受错误特征和分布偏移影响。对照实验只改变一个因素，并让简单基线获得相同数据、调参机会和资源预算。

权威目录逐项讲解

附录

附录为正文提供统一符号，不是脱离算法的公式表。每个工具都应回到一个最小样本，核对输入形状、输出范围和边界条件。

学习“附录”时先在“冻结数据合同”冻结输入、样本身份、特征形状、随机状态和适用假设，再进入“计算模型状态”只改变一个条件。至少保存目标值、关键中间量、更新前后状态和独立评价；若最终指标改善但机制预期的第一处变化没有发生，应先排查泄漏、索引、尺度、优化容差和随机性，不能用末端分数覆盖首错。

通过标准包含四层：能够准确解释定义与适用前提；能够在极小样本上手算公式或枚举状态；能够用固定种子复现算法一步；能够构造一个破坏前提的反例并指出停止位置。修复后清空派生特征、缓存、伪标签、模型状态和评价结果，从冻结原始样本完整重放。

A 矩阵

矩阵部分覆盖向量、矩阵乘法、转置、逆、迹、行列式、特征值和奇异值。数值实现优先使用线性方程求解或分解，不显式求逆。

学习“A 矩阵”时先在“计算模型状态”冻结输入、样本身份、特征形状、随机状态和适用假设，再进入“核对目标与约束”只改变一个条件。至少保存目标值、关键中间量、更新前后状态和独立评价；若最终指标改善但机制预期的第一处变化没有发生，应先排查泄漏、索引、尺度、优化容差和随机性，不能用末端分数覆盖首错。

通过标准包含四层：能够准确解释定义与适用前提；能够在极小样本上手算公式或枚举状态；能够用固定种子复现算法一步；能够构造一个破坏前提的反例并指出停止位置。修复后清空派生特征、缓存、伪标签、模型状态和评价结果，从冻结原始样本完整重放。

B 优化

优化部分区分无约束、一阶条件、凸优化、拉格朗日乘子、对偶和KKT条件。梯度为零只给驻点，是否全局最优取决于问题结构。

学习“B 优化”时先在“核对目标与约束”冻结输入、样本身份、特征形状、随机状态和适用假设，再进入“执行学习或推断”只改变一个条件。至少保存目标值、关键中间量、更新前后状态和独立评价；若最终指标改善但机制预期的第一处变化没有发生，应先排查泄漏、索引、尺度、优化容差和随机性，不能用末端分数覆盖首错。

通过标准包含四层：能够准确解释定义与适用前提；能够在极小样本上手算公式或枚举状态；能够用固定种子复现算法一步；能够构造一个破坏前提的反例并指出停止位置。修复后清空派生特征、缓存、伪标签、模型状态和评价结果，从冻结原始样本完整重放。

C 概率分布

概率分布部分回顾随机变量、联合与条件概率、期望、方差、常见离散和连续分布以及大数定律。密度值可以大于一，但积分必须为一。

学习“C 概率分布”时先在“执行学习或推断”冻结输入、样本身份、特征形状、随机状态和适用假设，再进入“独立评估泛化”只改变一个条件。至少保存目标值、关键中间量、更新前后状态和独立评价；若最终指标改善但机制预期的第一处变化没有发生，应先排查泄漏、索引、尺度、优化容差和随机性，不能用末端分数覆盖首错。

通过标准包含四层：能够准确解释定义与适用前提；能够在极小样本上手算公式或枚举状态；能够用固定种子复现算法一步；能够构造一个破坏前提的反例并指出停止位置。修复后清空派生特征、缓存、伪标签、模型状态和评价结果，从冻结原始样本完整重放。

常见失败与边界

本章回顾

把矩阵运算、优化条件和常用概率分布整理为全书可随时回查的计算工具，并强调维度、约束和数值稳定。 验收时从冻结数据预测中间状态、目标与更新，解释结构或分布条件为何改变答案，并在失败样本中指出第一处违背前提的位置。最终底线是：每个推导先写形状和定义域；矩阵不可逆时不得硬求逆，优化结论必须注明约束与凸性，概率结果必须归一。