《深度学习》全书总复习

为什么先冻结模型合同

、、、、、共同构成本页坐标。从线性代数、概率与优化重走前馈、卷积、循环、正则化、表示、图模型、近似推断和深度生成模型。

深度学习系统同时包含数据处理、参数化表示、随机训练、近似推断和评价。指标上升仍可能来自数据泄漏、广播shape、训练评价模式错位、旧优化器状态或挑选随机种子。实验前必须冻结数据版本、切分身份、预处理、轴语义、参数初值、预算、随机种子和评价协议。

本页遵循“声明输入与shape -> 写前向和目标 -> 手算最小张量 -> 运行单变量实验 -> 独立重算梯度 -> 注入失败并重放”。第一处分叉出现后停止扩大训练，从原始样本和空派生状态复现，不能用最终分数替代过程证据。

数学骨架

$$\|\mathbf{x}\|_2=\sqrt{\sum_i x_i^2}$$ $$D_{KL}(p\Vert q)=\mathbb{E}_{p}\left[\log\frac{p(X)}{q(X)}\right]$$ $$\frac{\partial J}{\partial x_i}=\sum_j\frac{\partial J}{\partial y_j}\frac{\partial y_j}{\partial x_i}$$ $$\mathcal{L}(q)=\mathbb{E}_{q}[\log p(\mathbf{x},\mathbf{h})-\log q(\mathbf{h})]$$

每个方程进入实现前都声明求和或期望的轴、张量shape、条件分布、参数版本和随机来源。矩阵乘法与广播、训练与评价、数据项与正则项、精确推断与近似推断必须显式区分。

可复现证据工作表

第一栏保存数据版本、样本索引、原始值、切分身份、预处理输出、批次shape和随机种子。第二栏记录每层输入输出、参数版本、激活统计、mask与归一化轴，使前向错误能在进入损失前被发现。

第三栏保存每个损失项、局部导数、参数梯度、梯度范数、优化器状态和更新后参数。概率模型还要记录联合分解、后验近似、采样链或配分函数估计。第四栏用冻结模型和未见样本重做评价，禁止读取训练缓存。

失败对照只改变一个条件，例如交换批次轴与特征轴、漏掉mask、复用旧隐藏状态、把训练模式带入评价或让验证集参与梯度。检测器应在预先声明的中间证据报警；若只能从最终指标发现问题，工作表仍不合格。

权威目录逐项讲解

第1章 引言

把“第1章 引言”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明shape合同如何影响梯度合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第1章 引言”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第2章 线性代数

把“第2章 线性代数”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明概率合同如何影响泛化合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第2章 线性代数”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第3章 概率与信息论

把“第3章 概率与信息论”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明梯度合同如何影响推断合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第3章 概率与信息论”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第4章 数值计算

把“第4章 数值计算”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明泛化合同如何影响评价合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第4章 数值计算”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第5章 机器学习基础

把“第5章 机器学习基础”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明推断合同如何影响shape合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第5章 机器学习基础”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第6章 深度前馈网络

把“第6章 深度前馈网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明评价合同如何影响概率合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第6章 深度前馈网络”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第7章 深度学习中的正则化

把“第7章 深度学习中的正则化”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明shape合同如何影响梯度合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第7章 深度学习中的正则化”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第8章 深度模型中的优化

把“第8章 深度模型中的优化”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明概率合同如何影响泛化合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第8章 深度模型中的优化”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第9章 卷积网络

把“第9章 卷积网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明梯度合同如何影响推断合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第9章 卷积网络”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第10章 序列建模：循环和递归网络

把“第10章 序列建模：循环和递归网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明泛化合同如何影响评价合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第10章 序列建模：循环和递归网络”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第11章 实践方法论

把“第11章 实践方法论”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明推断合同如何影响shape合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第11章 实践方法论”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第12章 应用

把“第12章 应用”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明评价合同如何影响概率合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第12章 应用”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第13章 线性因子模型

把“第13章 线性因子模型”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明shape合同如何影响梯度合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第13章 线性因子模型”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第14章 自编码器

把“第14章 自编码器”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明概率合同如何影响泛化合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第14章 自编码器”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第15章 表示学习

把“第15章 表示学习”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明梯度合同如何影响推断合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第15章 表示学习”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第16章 深度学习中的结构化概率模型

把“第16章 深度学习中的结构化概率模型”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明泛化合同如何影响评价合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第16章 深度学习中的结构化概率模型”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第17章 蒙特卡罗方法

把“第17章 蒙特卡罗方法”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明推断合同如何影响shape合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第17章 蒙特卡罗方法”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第18章 直面配分函数

把“第18章 直面配分函数”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明评价合同如何影响概率合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第18章 直面配分函数”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第19章 近似推断

把“第19章 近似推断”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明shape合同如何影响梯度合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第19章 近似推断”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第20章 深度生成模型

把“第20章 深度生成模型”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明概率合同如何影响泛化合同；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第20章 深度生成模型”，验收条件是“总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

七类实现证据

数据合同

数据合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

shape合同

shape合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

前向合同

前向合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

目标合同

目标合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

梯度合同

梯度合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

评价合同

评价合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

回退合同

回退合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对《深度学习》全书总复习而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

常见失败与边界

本章回顾

从线性代数、概率与优化重走前馈、卷积、循环、正则化、表示、图模型、近似推断和深度生成模型。验收底线是：总复习必须能在固定数据和参数下手算最小链路，注入单一故障后从第一处分叉定位，而不是只比较最终准确率或样本。。掌握标准是能从固定数据预测首个变化、手算最小张量、复现实验、解释失败样本，并证明独立评价不读取训练状态。