第6章 深度前馈网络

为什么先冻结模型合同

、、、、、共同构成本页坐标。从XOR说明隐藏表示的必要性，定义输出与代价函数，并沿计算图推导反向传播和架构选择。

深度学习系统同时包含数据处理、参数化表示、随机训练、近似推断和评价。指标上升仍可能来自数据泄漏、广播shape、训练评价模式错位、旧优化器状态或挑选随机种子。实验前必须冻结数据版本、切分身份、预处理、轴语义、参数初值、预算、随机种子和评价协议。

本页遵循“声明输入与shape -> 写前向和目标 -> 手算最小张量 -> 运行单变量实验 -> 独立重算梯度 -> 注入失败并重放”。第一处分叉出现后停止扩大训练，从原始样本和空派生状态复现，不能用最终分数替代过程证据。

数学骨架

$$\mathbf{h}=g(W\mathbf{x}+\mathbf{b})$$ $$\hat{\mathbf{y}}=V\mathbf{h}+\mathbf{c}$$ $$J(\theta)=-\sum_k y_k\log\hat{y}_k$$ $$\frac{\partial J}{\partial x_i}=\sum_j\frac{\partial J}{\partial y_j}\frac{\partial y_j}{\partial x_i}$$

每个方程进入实现前都声明求和或期望的轴、张量shape、条件分布、参数版本和随机来源。矩阵乘法与广播、训练与评价、数据项与正则项、精确推断与近似推断必须显式区分。

可复现证据工作表

第一栏保存数据版本、样本索引、原始值、切分身份、预处理输出、批次shape和随机种子。第二栏记录每层输入输出、参数版本、激活统计、mask与归一化轴，使前向错误能在进入损失前被发现。

第三栏保存每个损失项、局部导数、参数梯度、梯度范数、优化器状态和更新后参数。概率模型还要记录联合分解、后验近似、采样链或配分函数估计。第四栏用冻结模型和未见样本重做评价，禁止读取训练缓存。

失败对照只改变一个条件，例如交换批次轴与特征轴、漏掉mask、复用旧隐藏状态、把训练模式带入评价或让验证集参与梯度。检测器应在预先声明的中间证据报警；若只能从最终指标发现问题，工作表仍不合格。

权威目录逐项讲解

第2部分 深度网络：现代实践

把“第2部分 深度网络：现代实践”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明前馈网络如何影响隐藏单元；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第2部分 深度网络：现代实践”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

第6章 深度前馈网络

把“第6章 深度前馈网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明XOR如何影响激活函数；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第6章 深度前馈网络”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

6.1 示例：学习XOR

把“6.1 示例：学习XOR”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明隐藏单元如何影响计算图；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“6.1 示例：学习XOR”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

6.2 基于梯度的学习

把“6.2 基于梯度的学习”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明激活函数如何影响反向传播；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“6.2 基于梯度的学习”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

6.3 隐藏单元

把“6.3 隐藏单元”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明计算图如何影响前馈网络；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“6.3 隐藏单元”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

6.4 架构设计

把“6.4 架构设计”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明反向传播如何影响XOR；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“6.4 架构设计”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

6.5 反向传播和其他微分算法

把“6.5 反向传播和其他微分算法”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明前馈网络如何影响隐藏单元；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“6.5 反向传播和其他微分算法”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

6.6 历史小记

把“6.6 历史小记”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明XOR如何影响激活函数；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“6.6 历史小记”，验收条件是“前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

七类实现证据

数据合同

数据合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

shape合同

shape合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

前向合同

前向合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

目标合同

目标合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

梯度合同

梯度合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

评价合同

评价合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

回退合同

回退合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第6章 深度前馈网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

常见失败与边界

本章回顾

从XOR说明隐藏表示的必要性，定义输出与代价函数，并沿计算图推导反向传播和架构选择。验收底线是：前向激活、局部导数、反向伴随量和参数梯度必须逐节点核对；批量聚合不得掩盖单样本错误。。掌握标准是能从固定数据预测首个变化、手算最小张量、复现实验、解释失败样本，并证明独立评价不读取训练状态。