第4章 数值计算

为什么先冻结模型合同

、、、、、共同构成本页坐标。从浮点边界、条件数和梯度优化解释实现为何会偏离数学式，并以约束优化与最小二乘建立可核查基线。

深度学习系统同时包含数据处理、参数化表示、随机训练、近似推断和评价。指标上升仍可能来自数据泄漏、广播shape、训练评价模式错位、旧优化器状态或挑选随机种子。实验前必须冻结数据版本、切分身份、预处理、轴语义、参数初值、预算、随机种子和评价协议。

本页遵循“声明输入与shape -> 写前向和目标 -> 手算最小张量 -> 运行单变量实验 -> 独立重算梯度 -> 注入失败并重放”。第一处分叉出现后停止扩大训练，从原始样本和空派生状态复现，不能用最终分数替代过程证据。

数学骨架

$$\theta_{t+1}=\theta_t-\eta\nabla_\theta J(\theta_t)$$ $$\nabla J(\theta^*)=0$$ $$\mathcal{L}(\mathbf{x},\lambda)=f(\mathbf{x})+\lambda g(\mathbf{x})$$ $$\hat{\mathbf{x}}=(A^TA)^{-1}A^T\mathbf{b}$$

每个方程进入实现前都声明求和或期望的轴、张量shape、条件分布、参数版本和随机来源。矩阵乘法与广播、训练与评价、数据项与正则项、精确推断与近似推断必须显式区分。

可复现证据工作表

第一栏保存数据版本、样本索引、原始值、切分身份、预处理输出、批次shape和随机种子。第二栏记录每层输入输出、参数版本、激活统计、mask与归一化轴，使前向错误能在进入损失前被发现。

第三栏保存每个损失项、局部导数、参数梯度、梯度范数、优化器状态和更新后参数。概率模型还要记录联合分解、后验近似、采样链或配分函数估计。第四栏用冻结模型和未见样本重做评价，禁止读取训练缓存。

失败对照只改变一个条件，例如交换批次轴与特征轴、漏掉mask、复用旧隐藏状态、把训练模式带入评价或让验证集参与梯度。检测器应在预先声明的中间证据报警；若只能从最终指标发现问题，工作表仍不合格。

权威目录逐项讲解

第4章 数值计算

把“第4章 数值计算”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明上溢如何影响条件数；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第4章 数值计算”，验收条件是“原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

4.1 上溢和下溢

把“4.1 上溢和下溢”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明下溢如何影响梯度；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“4.1 上溢和下溢”，验收条件是“原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

4.2 病态条件

把“4.2 病态条件”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明条件数如何影响约束优化；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“4.2 病态条件”，验收条件是“原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

4.3 基于梯度的优化方法

把“4.3 基于梯度的优化方法”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明梯度如何影响最小二乘；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“4.3 基于梯度的优化方法”，验收条件是“原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

4.4 约束优化

把“4.4 约束优化”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明约束优化如何影响上溢；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“4.4 约束优化”，验收条件是“原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

4.5 示例：线性最小二乘

把“4.5 示例：线性最小二乘”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明最小二乘如何影响下溢；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“4.5 示例：线性最小二乘”，验收条件是“原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

七类实现证据

数据合同

数据合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

shape合同

shape合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

前向合同

前向合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

目标合同

目标合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

梯度合同

梯度合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

评价合同

评价合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

回退合同

回退合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第4章 数值计算而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

常见失败与边界

本章回顾

从浮点边界、条件数和梯度优化解释实现为何会偏离数学式，并以约束优化与最小二乘建立可核查基线。验收底线是：原始值、稳定变换、梯度、步长和停止条件必须保存；NaN修补不能替代定位首个溢出算子。。掌握标准是能从固定数据预测首个变化、手算最小张量、复现实验、解释失败样本，并证明独立评价不读取训练状态。