第10章 序列建模：循环和递归网络

为什么先冻结模型合同

、、、、、共同构成本页坐标。沿时间展开共享参数的计算图，比较双向、深层、递归、门控和显式记忆结构，并定位长期依赖的梯度问题。

深度学习系统同时包含数据处理、参数化表示、随机训练、近似推断和评价。指标上升仍可能来自数据泄漏、广播shape、训练评价模式错位、旧优化器状态或挑选随机种子。实验前必须冻结数据版本、切分身份、预处理、轴语义、参数初值、预算、随机种子和评价协议。

本页遵循“声明输入与shape -> 写前向和目标 -> 手算最小张量 -> 运行单变量实验 -> 独立重算梯度 -> 注入失败并重放”。第一处分叉出现后停止扩大训练，从原始样本和空派生状态复现，不能用最终分数替代过程证据。

数学骨架

$$\mathbf{h}_t=f(W_{hh}\mathbf{h}_{t-1}+W_{xh}\mathbf{x}_t+\mathbf{b})$$ $$p(\mathbf{y}_{1:T}\mid\mathbf{x}_{1:T})=\prod_t p(\mathbf{y}_t\mid\mathbf{h}_t)$$ $$\frac{\partial L}{\partial W}=\sum_t\frac{\partial L_t}{\partial W}$$ $$\mathbf{c}_t=\mathbf{f}_t\odot\mathbf{c}_{t-1}+\mathbf{i}_t\odot\tilde{\mathbf{c}}_t$$

每个方程进入实现前都声明求和或期望的轴、张量shape、条件分布、参数版本和随机来源。矩阵乘法与广播、训练与评价、数据项与正则项、精确推断与近似推断必须显式区分。

可复现证据工作表

第一栏保存数据版本、样本索引、原始值、切分身份、预处理输出、批次shape和随机种子。第二栏记录每层输入输出、参数版本、激活统计、mask与归一化轴，使前向错误能在进入损失前被发现。

第三栏保存每个损失项、局部导数、参数梯度、梯度范数、优化器状态和更新后参数。概率模型还要记录联合分解、后验近似、采样链或配分函数估计。第四栏用冻结模型和未见样本重做评价，禁止读取训练缓存。

失败对照只改变一个条件，例如交换批次轴与特征轴、漏掉mask、复用旧隐藏状态、把训练模式带入评价或让验证集参与梯度。检测器应在预先声明的中间证据报警；若只能从最终指标发现问题，工作表仍不合格。

权威目录逐项讲解

第10章 序列建模：循环和递归网络

把“第10章 序列建模：循环和递归网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明计算图展开如何影响双向RNN；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“第10章 序列建模：循环和递归网络”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.1 展开计算图

把“10.1 展开计算图”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明循环状态如何影响编码器-解码器；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.1 展开计算图”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.2 循环神经网络

把“10.2 循环神经网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明双向RNN如何影响长期依赖；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.2 循环神经网络”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.3 双向RNN

把“10.3 双向RNN”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明编码器-解码器如何影响LSTM；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.3 双向RNN”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.4 编码器-解码器序列到序列架构

把“10.4 编码器-解码器序列到序列架构”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明长期依赖如何影响计算图展开；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.4 编码器-解码器序列到序列架构”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.5 深度循环网络

把“10.5 深度循环网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明LSTM如何影响循环状态；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.5 深度循环网络”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.6 递归神经网络

把“10.6 递归神经网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明计算图展开如何影响双向RNN；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.6 递归神经网络”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.7 长期依赖的挑战

把“10.7 长期依赖的挑战”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明循环状态如何影响编码器-解码器；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.7 长期依赖的挑战”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.8 Echo State网络

把“10.8 Echo State网络”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明双向RNN如何影响长期依赖；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.8 Echo State网络”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.9 渗漏单元和其他多时间尺度策略

把“10.9 渗漏单元和其他多时间尺度策略”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明编码器-解码器如何影响LSTM；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.9 渗漏单元和其他多时间尺度策略”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.10 长短期记忆和其他门控RNN

把“10.10 长短期记忆和其他门控RNN”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明长期依赖如何影响计算图展开；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.10 长短期记忆和其他门控RNN”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.11 优化长期依赖

把“10.11 优化长期依赖”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明LSTM如何影响循环状态；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.11 优化长期依赖”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

10.12 显式记忆

把“10.12 显式记忆”放回“数据 -> 表示 -> 目标 -> 梯度 -> 独立评价”的主链。先写清输入输出shape、条件变量和参数版本，再说明计算图展开如何影响双向RNN；每个结论都必须能从保存的中间量重算。

最小实验固定两到八个样本、参数初值和随机种子，先预测本节变化后最早分叉的激活、损失、梯度、后验或评价切片。针对“10.12 显式记忆”，验收条件是“时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。”。若首个预期证据没有变化，就停止扩大模型，从原始输入和空优化器状态重放。

七类实现证据

数据合同

数据合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

shape合同

shape合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

前向合同

前向合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

目标合同

目标合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

梯度合同

梯度合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

评价合同

评价合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

回退合同

回退合同要求保留原始输入、轴语义、dtype、随机种子、参数版本和关键中间量。正常路径与故障路径只改变一个条件，并在运行前写下首个应分叉的观测值。对第10章 序列建模：循环和递归网络而言，必须同时核对数值、方向、归一化条件和边界样本，避免聚合指标掩盖局部错误。

回归时从相同初值运行基线和单一故障。检测器要在激活、损失、梯度、后验、采样或数据切片处报警；若直到最终准确率或样本观感才发现差异，说明证据粒度仍然不足。

常见失败与边界

本章回顾

沿时间展开共享参数的计算图，比较双向、深层、递归、门控和显式记忆结构，并定位长期依赖的梯度问题。验收底线是：时间轴、批次轴、隐藏状态版本、序列mask和梯度截断边界必须记录；未来信息不能泄漏到因果任务。。掌握标准是能从固定数据预测首个变化、手算最小张量、复现实验、解释失败样本，并证明独立评价不读取训练状态。