第5章误差反向传播法

覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认；用张量路径、单故障梯度轨迹和训练验收门完成独立复核。

学习目标

能说明“第5章误差反向传播法”如何覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认，并区分2016年原版、2018年中文译本与当前扩展
能先预测“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”会改变哪个数组、缓存、梯度或训练状态，再用shape与数值断言逐步复核
能注入“梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练”，用“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”决定接受、降级或拒绝实现结论

为什么从这个实现问题开始

反向传播页要求导数能沿计算图逐节点重放，训练能收敛不代表梯度实现正确。 “第5章误差反向传播法”的贯穿任务是：实现Mul/Add/ReLU/Sigmoid/Affine/SoftmaxWithLoss层并对两层网络做梯度检查。动手前先写下哪个输入、shape、缓存、梯度、参数或指标会变化；运行后补理由不算预测。

围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”建立参考、故障与恢复路径。只有它守住“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”并交付节点与边、forward输入输出、缓存、上游/下游梯度shape、参数梯度、差分梯度、相对误差和故障层定位。，代码、图形或指标才构成从零实现证据。

书目、211个原版层级与版本边界

“第5章误差反向传播法”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning》于2016年9月24日出版、320页、ISBN 9784873117584，并以出版社完整目录逐项统计8个章标题、202个编号节/小节与附录A，共211个正式目录层级。出版社官方代码仓库提供可运行示例，官方勘误用于识别已知错误。

本项目没有取得原书完整正文授权，只以官方完整目录、示例代码和勘误限定范围；中文解释、代码实验、交互、练习与答案均为独立教学重写。O’Reilly中文在线书目只用于核对陆宇杰译、人民邮电出版社2018年7月、ISBN 9787115485588和中文目录，不用来证明日文原版正文。“第5章误差反向传播法”以2016年日文原版与2018年中文译本目录为内容边界；当前Python/NumPy兼容修正、自动微分框架和后续架构只作带时间标签的独立核验。

本页另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或数值诊断。外部资料能验证技术事实，不能反向证明原书采用了本站表述。

原版目录层级与实现机制

第5章误差反向传播法

原版坐标 1/29。 在“第5章误差反向传播法”的坐标1中，目录项「第5章误差反向传播法」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.1 计算图

原版坐标 2/29。 目录项「5·1 计算图」进入“第5章误差反向传播法”后要回答第2个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.1.1 用计算图求解

原版坐标 3/29。 围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”在原版层级3把「5·1·1 用计算图求解」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.1.2 局部计算

原版坐标 4/29。 对“第5章误差反向传播法”而言，目录项「5·1·2 局部计算」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第4次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

5.1.3 为何用计算图解题

原版坐标 5/29。 第5个正式坐标「5·1·3 为何用计算图解题」服务于覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”。

5.2 链式法则

原版坐标 6/29。 在“第5章误差反向传播法”的坐标6中，目录项「5·2 链式法则」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.2.1 计算图的反向传播

原版坐标 7/29。 目录项「5·2·1 计算图的反向传播」进入“第5章误差反向传播法”后要回答第7个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.2.2 什么是链式法则

原版坐标 8/29。 围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”在原版层级8把「5·2·2 什么是链式法则」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.2.3 链式法则和计算图

原版坐标 9/29。 对“第5章误差反向传播法”而言，目录项「5·2·3 链式法则和计算图」的最小实现合同是由forward缓存和局部导数组装反向传播，第9次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

5.3 反向传播

原版坐标 10/29。 第10个正式坐标「5·3 反向传播」服务于覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”。

5.3.1 加法节点的反向传播

原版坐标 11/29。 在“第5章误差反向传播法”的坐标11中，目录项「5·3·1 加法节点的反向传播」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.3.2 乘法节点的反向传播

原版坐标 12/29。 目录项「5·3·2 乘法节点的反向传播」进入“第5章误差反向传播法”后要回答第12个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.3.3 苹果的例子

原版坐标 13/29。 围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”在原版层级13把「5·3·3 苹果的例子」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

5.4 简单层的实现

原版坐标 14/29。 对“第5章误差反向传播法”而言，目录项「5·4 简单层的实现」的最小实现合同是由forward缓存和局部导数组装反向传播，第14次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

5.4.1 乘法层的实现

原版坐标 15/29。 第15个正式坐标「5·4·1 乘法层的实现」服务于覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”。

5.4.2 加法层的实现

原版坐标 16/29。 在“第5章误差反向传播法”的坐标16中，目录项「5·4·2 加法层的实现」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.5 激活函数层的实现

原版坐标 17/29。 目录项「5·5 激活函数层的实现」进入“第5章误差反向传播法”后要回答第17个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

5.5.1 ReLU层

原版坐标 18/29。 围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”在原版层级18把「5·5·1 ReLU层」落实为沿张量形状执行仿射、激活、稳定输出与批量推理；复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照，不能接受矩阵轴错位、softmax溢出或批语义漂移。

5.5.2 Sigmoid层

原版坐标 19/29。 对“第5章误差反向传播法”而言，目录项「5·5·2 Sigmoid层」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第19次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

5.6 Affine/Softmax层的实现

原版坐标 20/29。 第20个正式坐标「5·6 Affine/Softmax层的实现」服务于覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”。

5.6.1 Affine层

原版坐标 21/29。 在“第5章误差反向传播法”的坐标21中，目录项「5·6·1 Affine层」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.6.2 批版本的Affine层

原版坐标 22/29。 目录项「5·6·2 批版本的Affine层」进入“第5章误差反向传播法”后要回答第22个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.6.3 Softmax-with-Loss层

原版坐标 23/29。 围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”在原版层级23把「5·6·3 Softmax-with-Loss层」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.7 误差反向传播法的实现

原版坐标 24/29。 对“第5章误差反向传播法”而言，目录项「5·7 误差反向传播法的实现」的最小实现合同是由forward缓存和局部导数组装反向传播，第24次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

5.7.1 神经网络学习的全貌图

原版坐标 25/29。 第25个正式坐标「5·7·1 神经网络学习的全貌图」服务于覆盖计算图、链式法则、基础层、激活层、Affine/Softmax层、反向传播实现与梯度确认，需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理；矩阵轴错位、softmax溢出或批语义漂移会破坏“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”。

5.7.2 对应误差反向传播法的神经网络的实现

原版坐标 26/29。 在“第5章误差反向传播法”的坐标26中，目录项「5·7·2 对应误差反向传播法的神经网络的实现」用于沿张量形状执行仿射、激活、稳定输出与批量推理；先冻结环境与shape，再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核，出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

5.7.3 误差反向传播法的梯度确认

原版坐标 27/29。 目录项「5·7·3 误差反向传播法的梯度确认」进入“第5章误差反向传播法”后要回答第27个实现问题：它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明，并如何排除测试泄漏或不稳定数值梯度被当作基准。

5.7.4 使用误差反向传播法的学习

原版坐标 28/29。 围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”“第5章误差反向传播法”在原版层级28把「5·7·4 使用误差反向传播法的学习」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

5.8 小结

原版坐标 29/29。 对“第5章误差反向传播法”而言，目录项「5·8 小结」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向，第29次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差；若产生标签编码或batch归约错误，就返回上一步。

先预测，再操作三个章专属实现实验

分步1 / 3

1. 张量、算子与程序状态

固定“实现Mul/Add/ReLU/Sigmoid/Affine/SoftmaxWithLoss层并对两层网络做梯度检查。”，在参考与反例间切换，逐阶段查看“构建计算图、保存前向缓存、传播局部梯度、汇总参数梯度、数值梯度检查”的输入、代码动作、输出和shape检查。

张量信号路径

选择运行情形，逐步核对形状、算子与输出

怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？

输入设置

实现Mul/Add/ReLU/Sigmoid/Affine/SoftmaxWithLoss层并对两层网络做梯度检查。固定环境、数据、shape、初值、顺序、容差和种子。

事前预测

沿“构建计算图 → 保存前向缓存 → 传播局部梯度 → 汇总参数梯度 → 数值梯度检查”得到可复核实现结果。

适用边界

全过程必须满足“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”。

输入张量或程序状态

第5章误差反向传播法：锁定解释器、依赖、输入与数据角色，保持其余实现合同不变

本步算子或代码动作

冻结版本、dtype、shape、轴、种子和允许读取的信息，并持续满足“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”

输出张量或训练状态

构建计算图产生可追溯输入状态

形状、梯度与数值检查

可追溯输入状态、shape与数值断言；出现“梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练”时停止

原版坐标：第5章误差反向传播法、5.1 计算图、5.1.1 用计算图求解、5.1.2 局部计算、5.1.3 为何用计算图解题、5.2 链式法则、5.2.1 计算图的反向传播、5.2.2 什么是链式法则、5.2.3 链式法则和计算图、5.3 反向传播、5.3.1 加法节点的反向传播、5.3.2 乘法节点的反向传播、5.3.3 苹果的例子、5.4 简单层的实现、5.4.1 乘法层的实现、5.4.2 加法层的实现、5.5 激活函数层的实现、5.5.1 ReLU层、5.5.2 Sigmoid层、5.6 Affine/Softmax层的实现、5.6.1 Affine层、5.6.2 批版本的Affine层、5.6.3 Softmax-with-Loss层、5.7 误差反向传播法的实现、5.7.1 神经网络学习的全貌图、5.7.2 对应误差反向传播法的神经网络的实现、5.7.3 误差反向传播法的梯度确认、5.7.4 使用误差反向传播法的学习、5.8 小结

第5章误差反向传播法的可重放实现协议

阶段	允许动作	必留证据	拒绝条件
构建计算图	在“第5章误差反向传播法”执行构建计算图，只改变声明的代码、数组或训练状态	环境、输入、dtype/shape、数据角色与版本	环境或shape不可追溯
保存前向缓存	在“第5章误差反向传播法”执行保存前向缓存，只改变声明的代码、数组或训练状态	层、参数、缓存、梯度、优化器状态与输出	梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练
传播局部梯度	在“第5章误差反向传播法”执行传播局部梯度，只改变声明的代码、数组或训练状态	层、参数、缓存、梯度、优化器状态与输出	梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练
汇总参数梯度	在“第5章误差反向传播法”执行汇总参数梯度，只改变声明的代码、数组或训练状态	层、参数、缓存、梯度、优化器状态与输出	梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练
数值梯度检查	在“第5章误差反向传播法”执行数值梯度检查，只改变声明的代码、数组或训练状态	梯度误差、曲线、独立评估、反例与复现	无法重放或缺少独立测试

unit: "dls-05"
question: "怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？"
scenario: "实现Mul/Add/ReLU/Sigmoid/Affine/SoftmaxWithLoss层并对两层网络做梯度检查。"
stages:
  ["构建计算图", "保存前向缓存", "传播局部梯度", "汇总参数梯度", "数值梯度检查"]
invariant: "计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定"
fault: "梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练"
evidence: "节点与边、forward输入输出、缓存、上游/下游梯度shape、参数梯度、差分梯度、相对误差和故障层定位。"
reset: restore_case_stage_trace_mode_step_gates_and_artifact

该协议要求“第5章误差反向传播法”在相同环境、数据角色、dtype/shape、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、训练门或证据包没有回到基线，交互状态已经污染比较。

本页回顾

掌握“第5章误差反向传播法”不是背诵代码或API，而是能围绕“怎样让每个层的forward缓存和backward局部导数相互对应，并用数值梯度发现实现错误？”重建环境、shape、前向、梯度、训练与评估证据，并用“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”拒绝“梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练”。最终交付为节点与边、forward输入输出、缓存、上游/下游梯度shape、参数梯度、差分梯度、相对误差和故障层定位。

练习与答案

练习

问题 1：实现合同。 “第5章误差反向传播法”为什么必须先冻结环境、数据角色、dtype/shape、初值、顺序、容差和种子？

问题 2：目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习？

“第5章误差反向传播法”的目录项「第5章误差反向传播法」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·1 计算图」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·1·1 用计算图求解」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·1·2 局部计算」：以“把目录坐标转为有代码、形状、梯度、训练和评估的实现合同”解释实现作用，用“环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界”提供复核。
“第5章误差反向传播法”的目录项「5·1·3 为何用计算图解题」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·2 链式法则」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·2·1 计算图的反向传播」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·2·2 什么是链式法则」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·2·3 链式法则和计算图」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·3 反向传播」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·3·1 加法节点的反向传播」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·3·2 乘法节点的反向传播」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·3·3 苹果的例子」：以“把目录坐标转为有代码、形状、梯度、训练和评估的实现合同”解释实现作用，用“环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界”提供复核。
“第5章误差反向传播法”的目录项「5·4 简单层的实现」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·4·1 乘法层的实现」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·4·2 加法层的实现」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·5 激活函数层的实现」：以“建立可复现语言环境和最小程序状态”解释实现作用，用“解释器/包版本、值与类型、控制流、函数输入输出和异常”提供复核。
“第5章误差反向传播法”的目录项「5·5·1 ReLU层」：以“沿张量形状执行仿射、激活、稳定输出与批量推理”解释实现作用，用“输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照”提供复核。
“第5章误差反向传播法”的目录项「5·5·2 Sigmoid层」：以“把目录坐标转为有代码、形状、梯度、训练和评估的实现合同”解释实现作用，用“环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界”提供复核。
“第5章误差反向传播法”的目录项「5·6 Affine/Softmax层的实现」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·6·1 Affine层」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·6·2 批版本的Affine层」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·6·3 Softmax-with-Loss层」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·7 误差反向传播法的实现」：以“由forward缓存和局部导数组装反向传播”解释实现作用，用“图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差”提供复核。
“第5章误差反向传播法”的目录项「5·7·1 神经网络学习的全貌图」：以“沿张量形状执行仿射、激活、稳定输出与批量推理”解释实现作用，用“输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照”提供复核。
“第5章误差反向传播法”的目录项「5·7·2 对应误差反向传播法的神经网络的实现」：以“沿张量形状执行仿射、激活、稳定输出与批量推理”解释实现作用，用“输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照”提供复核。
“第5章误差反向传播法”的目录项「5·7·3 误差反向传播法的梯度确认」：以“以损失、数值微分和更新构造可检查训练循环”解释实现作用，用“数据角色、batch索引、损失、差分步长、梯度、学习率与曲线”提供复核。
“第5章误差反向传播法”的目录项「5·7·4 使用误差反向传播法的学习」：以“以损失、数值微分和更新构造可检查训练循环”解释实现作用，用“数据角色、batch索引、损失、差分步长、梯度、学习率与曲线”提供复核。
“第5章误差反向传播法”的目录项「5·8 小结」：以“复核Softmax-with-Loss的稳定正向和批量反向”解释实现作用，用“logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差”提供复核。

问题 3：故障恢复。 怎样证明“梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练”已经被修正？

为“第5章误差反向传播法”复用同一环境、数据角色、dtype/shape、初值、顺序、容差和种子，重放参考路径后只注入“梯度shape靠广播凑齐，或反向实现与数值梯度不符仍继续训练”；记录最早偏离，撤销故障再运行。只有张量路径、梯度轨迹、训练门和节点与边、forward输入输出、缓存、上游/下游梯度shape、参数梯度、差分梯度、相对误差和故障层定位。重新满足“计算图方向、张量shape、forward缓存、上游梯度、参数共享、归约轴和差分基线固定”，修正才可提交。

小结

反向传播用链式法则传误差
计算图可视化梯度流动
每层实现 forward 与 backward
梯度检验验证实现正确
高效反向传播取代数值微分

名词解释

本章出现的专业名词，用大白话再讲一遍。

误差反向传播法: 检索键 dls-A 对应目录坐标「第5章误差反向传播法」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
计算图: 检索键 dls-B 对应目录坐标「5·1 计算图」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
用计算图求解: 检索键 dls-C 对应目录坐标「5·1·1 用计算图求解」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
局部计算: 检索键 dls-D 对应目录坐标「5·1·2 局部计算」；在“第5章误差反向传播法”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
为何用计算图解题: 检索键 dls-E 对应目录坐标「5·1·3 为何用计算图解题」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
链式法则: 检索键 dls-F 对应目录坐标「5·2 链式法则」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
计算图的反向传播: 检索键 dls-G 对应目录坐标「5·2·1 计算图的反向传播」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
什么是链式法则: 检索键 dls-H 对应目录坐标「5·2·2 什么是链式法则」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
链式法则和计算图: 检索键 dls-I 对应目录坐标「5·2·3 链式法则和计算图」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
反向传播: 检索键 dls-J 对应目录坐标「5·3 反向传播」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
加法节点的反向传播: 检索键 dls-K 对应目录坐标「5·3·1 加法节点的反向传播」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
乘法节点的反向传播: 检索键 dls-L 对应目录坐标「5·3·2 乘法节点的反向传播」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
苹果的例子: 检索键 dls-M 对应目录坐标「5·3·3 苹果的例子」；在“第5章误差反向传播法”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
简单层的实现: 检索键 dls-N 对应目录坐标「5·4 简单层的实现」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
乘法层的实现: 检索键 dls-O 对应目录坐标「5·4·1 乘法层的实现」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
加法层的实现: 检索键 dls-P 对应目录坐标「5·4·2 加法层的实现」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
激活函数层的实现: 检索键 dls-Q 对应目录坐标「5·5 激活函数层的实现」；在“第5章误差反向传播法”中用于建立可复现语言环境和最小程序状态，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
ReLU层: 检索键 dls-R 对应目录坐标「5·5·1 ReLU层」；在“第5章误差反向传播法”中用于沿张量形状执行仿射、激活、稳定输出与批量推理，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
Sigmoid层: 检索键 dls-S 对应目录坐标「5·5·2 Sigmoid层」；在“第5章误差反向传播法”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
Affine/Softmax层的实现: 检索键 dls-T 对应目录坐标「5·6 Affine/Softmax层的实现」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
Affine层: 检索键 dls-U 对应目录坐标「5·6·1 Affine层」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
批版本的Affine层: 检索键 dls-V 对应目录坐标「5·6·2 批版本的Affine层」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
Softmax-with-Loss层: 检索键 dls-W 对应目录坐标「5·6·3 Softmax-with-Loss层」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
误差反向传播法的实现: 检索键 dls-X 对应目录坐标「5·7 误差反向传播法的实现」；在“第5章误差反向传播法”中用于由forward缓存和局部导数组装反向传播，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
神经网络学习的全貌图: 检索键 dls-Y 对应目录坐标「5·7·1 神经网络学习的全貌图」；在“第5章误差反向传播法”中用于沿张量形状执行仿射、激活、稳定输出与批量推理，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
对应误差反向传播法的神经网络的实现: 检索键 dls-Z 对应目录坐标「5·7·2 对应误差反向传播法的神经网络的实现」；在“第5章误差反向传播法”中用于沿张量形状执行仿射、激活、稳定输出与批量推理，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
误差反向传播法的梯度确认: 检索键 dls-AA 对应目录坐标「5·7·3 误差反向传播法的梯度确认」；在“第5章误差反向传播法”中用于以损失、数值微分和更新构造可检查训练循环，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
使用误差反向传播法的学习: 检索键 dls-AB 对应目录坐标「5·7·4 使用误差反向传播法的学习」；在“第5章误差反向传播法”中用于以损失、数值微分和更新构造可检查训练循环，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
小结: 检索键 dls-AC 对应目录坐标「5·8 小结」；在“第5章误差反向传播法”中用于复核Softmax-with-Loss的稳定正向和批量反向，需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

第5章 误差反向传播法

学习目标

为什么从这个实现问题开始

书目、211个原版层级与版本边界

原版目录层级与实现机制

第5章 误差反向传播法

5.1 计算图

5.1.1 用计算图求解

5.1.2 局部计算

5.1.3 为何用计算图解题

5.2 链式法则

5.2.1 计算图的反向传播

5.2.2 什么是链式法则

5.2.3 链式法则和计算图

5.3 反向传播

5.3.1 加法节点的反向传播

5.3.2 乘法节点的反向传播

5.3.3 苹果的例子

5.4 简单层的实现

5.4.1 乘法层的实现

5.4.2 加法层的实现

5.5 激活函数层的实现

5.5.1 ReLU层

5.5.2 Sigmoid层

5.6 Affine/Softmax层的实现

5.6.1 Affine层

5.6.2 批版本的Affine层

5.6.3 Softmax-with-Loss层

5.7 误差反向传播法的实现

5.7.1 神经网络学习的全貌图

5.7.2 对应误差反向传播法的神经网络的实现

5.7.3 误差反向传播法的梯度确认

5.7.4 使用误差反向传播法的学习

5.8 小结

先预测，再操作三个章专属实现实验

1. 张量、算子与程序状态

选择运行情形，逐步核对形状、算子与输出

第5章 误差反向传播法的可重放实现协议

本页回顾

练习与答案

练习

小结

名词解释

名词解释

讨论

第5章误差反向传播法

第5章误差反向传播法

第5章误差反向传播法的可重放实现协议