《深度学习入门》从零实现总复习

为什么从这个实现问题开始

总复习页要求真正从零重建证据链，而不是重新粘贴书中代码。 “《深度学习入门》从零实现总复习”的贯穿任务是：从空目录搭建一个NumPy神经网络项目，并交付完整训练与反证报告。 动手前先写下哪个输入、shape、缓存、梯度、参数或指标会变化；运行后补理由不算预测。

围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”建立参考、故障与恢复路径。只有它守住“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”并交付211层覆盖账本、环境锁定、数组shape、层缓存、数值/反向梯度、受控训练曲线、消融、独立测试和版本边界。，代码、图形或指标才构成从零实现证据。

书目、211个原版层级与版本边界

“《深度学习入门》从零实现总复习”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning》于2016年9月24日出版、320页、ISBN 9784873117584，并以出版社完整目录逐项统计8个章标题、202个编号节/小节与附录A，共211个正式目录层级。出版社官方代码仓库提供可运行示例，官方勘误用于识别已知错误。

本项目没有取得原书完整正文授权，只以官方完整目录、示例代码和勘误限定范围；中文解释、代码实验、交互、练习与答案均为独立教学重写。O’Reilly中文在线书目只用于核对陆宇杰译、人民邮电出版社2018年7月、ISBN 9787115485588和中文目录，不用来证明日文原版正文。综合实现以2016年原版和官方代码为基线；Python/NumPy兼容修正及当前框架只作独立扩展。

本页另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或数值诊断。外部资料能验证技术事实，不能反向证明原书采用了本站表述。

原版目录层级与实现机制

第1章 Python入门

原版坐标 1/211。 在“《深度学习入门》从零实现总复习”的坐标1中，目录项「第1章 Python入门」用于建立可复现语言环境和最小程序状态；先冻结环境与shape，再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核，出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

1.1 Python是什么

原版坐标 2/211。 目录项「1·1 Python是什么」进入“《深度学习入门》从零实现总复习”后要回答第2个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

1.2 Python的安装

原版坐标 3/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级3把「1·2 Python的安装」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

1.2.1 Python版本

原版坐标 4/211。 对“《深度学习入门》从零实现总复习”而言，目录项「1·2·1 Python版本」的最小实现合同是建立可复现语言环境和最小程序状态，第4次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

1.2.2 使用的外部库

原版坐标 5/211。 第5个正式坐标「1·2·2 使用的外部库」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

1.2.3 Anaconda发行版

原版坐标 6/211。 在“《深度学习入门》从零实现总复习”的坐标6中，目录项「1·2·3 Anaconda发行版」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；先冻结环境与shape，再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核，出现只复述代码或模型名称时撤回结论。

1.3 Python解释器

原版坐标 7/211。 目录项「1·3 Python解释器」进入“《深度学习入门》从零实现总复习”后要回答第7个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

1.3.1 算术计算

原版坐标 8/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级8把「1·3·1 算术计算」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

1.3.2 数据类型

原版坐标 9/211。 对“《深度学习入门》从零实现总复习”而言，目录项「1·3·2 数据类型」的最小实现合同是建立可复现语言环境和最小程序状态，第9次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

1.3.3 变量

原版坐标 10/211。 第10个正式坐标「1·3·3 变量」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态；运行成功掩盖类型、作用域或版本漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

1.3.4 列表

原版坐标 11/211。 在“《深度学习入门》从零实现总复习”的坐标11中，目录项「1·3·4 列表」用于建立可复现语言环境和最小程序状态；先冻结环境与shape，再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核，出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

1.3.5 字典

原版坐标 12/211。 目录项「1·3·5 字典」进入“《深度学习入门》从零实现总复习”后要回答第12个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

1.3.6 布尔型

原版坐标 13/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级13把「1·3·6 布尔型」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

1.3.7 if语句

原版坐标 14/211。 对“《深度学习入门》从零实现总复习”而言，目录项「1·3·7 if语句」的最小实现合同是建立可复现语言环境和最小程序状态，第14次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

1.3.8 for语句

原版坐标 15/211。 第15个正式坐标「1·3·8 for语句」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态；运行成功掩盖类型、作用域或版本漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

1.3.9 函数

原版坐标 16/211。 在“《深度学习入门》从零实现总复习”的坐标16中，目录项「1·3·9 函数」用于建立可复现语言环境和最小程序状态；先冻结环境与shape，再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核，出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

1.4 Python脚本文件

原版坐标 17/211。 目录项「1·4 Python脚本文件」进入“《深度学习入门》从零实现总复习”后要回答第17个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

1.4.1 保存为文件

原版坐标 18/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级18把「1·4·1 保存为文件」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

1.4.2 类

原版坐标 19/211。 对“《深度学习入门》从零实现总复习”而言，目录项「1·4·2 类」的最小实现合同是建立可复现语言环境和最小程序状态，第19次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

1.5 NumPy

原版坐标 20/211。 第20个正式坐标「1·5 NumPy」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作；广播或索引产生语义错误但仍可运行会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

1.5.1 导入NumPy

原版坐标 21/211。 在“《深度学习入门》从零实现总复习”的坐标21中，目录项「1·5·1 导入NumPy」用于以数组形状、轴和广播执行数值与可视化操作；先冻结环境与shape，再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核，出现广播或索引产生语义错误但仍可运行时撤回结论。

1.5.2 生成NumPy数组

原版坐标 22/211。 目录项「1·5·2 生成NumPy数组」进入“《深度学习入门》从零实现总复习”后要回答第22个实现问题：它怎样以数组形状、轴和广播执行数值与可视化操作、改变哪个数组或训练状态、由哪些dtype、shape、stride、广播轴、索引、数值范围和绘图输入证明，并如何排除广播或索引产生语义错误但仍可运行。

1.5.3 NumPy的算术运算

原版坐标 23/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级23把「1·5·3 NumPy的算术运算」落实为以数组形状、轴和广播执行数值与可视化操作；复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入，不能接受广播或索引产生语义错误但仍可运行。

1.5.4 NumPy的N维数组

原版坐标 24/211。 对“《深度学习入门》从零实现总复习”而言，目录项「1·5·4 NumPy的N维数组」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作，第24次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入；若产生广播或索引产生语义错误但仍可运行，就返回上一步。

1.5.5 广播

原版坐标 25/211。 第25个正式坐标「1·5·5 广播」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作；广播或索引产生语义错误但仍可运行会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

1.5.6 访问元素

原版坐标 26/211。 在“《深度学习入门》从零实现总复习”的坐标26中，目录项「1·5·6 访问元素」用于以数组形状、轴和广播执行数值与可视化操作；先冻结环境与shape，再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核，出现广播或索引产生语义错误但仍可运行时撤回结论。

1.6 Matplotlib

原版坐标 27/211。 目录项「1·6 Matplotlib」进入“《深度学习入门》从零实现总复习”后要回答第27个实现问题：它怎样以数组形状、轴和广播执行数值与可视化操作、改变哪个数组或训练状态、由哪些dtype、shape、stride、广播轴、索引、数值范围和绘图输入证明，并如何排除广播或索引产生语义错误但仍可运行。

1.6.1 绘制简单图形

原版坐标 28/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级28把「1·6·1 绘制简单图形」落实为以数组形状、轴和广播执行数值与可视化操作；复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入，不能接受广播或索引产生语义错误但仍可运行。

1.6.2 pyplot的功能

原版坐标 29/211。 对“《深度学习入门》从零实现总复习”而言，目录项「1·6·2 pyplot的功能」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作，第29次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入；若产生广播或索引产生语义错误但仍可运行，就返回上一步。

1.6.3 显示图像

原版坐标 30/211。 第30个正式坐标「1·6·3 显示图像」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作；广播或索引产生语义错误但仍可运行会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

1.7 小结

原版坐标 31/211。 在“《深度学习入门》从零实现总复习”的坐标31中，目录项「1·7 小结」用于复核Softmax-with-Loss的稳定正向和批量反向；先冻结环境与shape，再以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差复核，出现标签编码或batch归约错误时撤回结论。

第2章 感知机

原版坐标 32/211。 目录项「第2章 感知机」进入“《深度学习入门》从零实现总复习”后要回答第32个实现问题：它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明，并如何排除逐样本调参或混淆单层与多层表达力。

2.1 感知机是什么

原版坐标 33/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级33把「2·1 感知机是什么」落实为用权重偏置和层组合实现、反证二值判定；复核者先读取真值表、加权和、阈值、决策边界、XOR反例和隐藏层，不能接受逐样本调参或混淆单层与多层表达力。

2.2 简单逻辑电路

原版坐标 34/211。 对“《深度学习入门》从零实现总复习”而言，目录项「2·2 简单逻辑电路」的最小实现合同是用权重偏置和层组合实现、反证二值判定，第34次检查保存真值表、加权和、阈值、决策边界、XOR反例和隐藏层；若产生逐样本调参或混淆单层与多层表达力，就返回上一步。

2.2.1 与门

原版坐标 35/211。 第35个正式坐标「2·2·1 与门」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以真值表、加权和、阈值、决策边界、XOR反例和隐藏层呈现用权重偏置和层组合实现、反证二值判定；逐样本调参或混淆单层与多层表达力会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

2.2.2 与非门和或门

原版坐标 36/211。 在“《深度学习入门》从零实现总复习”的坐标36中，目录项「2·2·2 与非门和或门」用于用权重偏置和层组合实现、反证二值判定；先冻结环境与shape，再以真值表、加权和、阈值、决策边界、XOR反例和隐藏层复核，出现逐样本调参或混淆单层与多层表达力时撤回结论。

2.3 感知机的实现

原版坐标 37/211。 目录项「2·3 感知机的实现」进入“《深度学习入门》从零实现总复习”后要回答第37个实现问题：它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明，并如何排除逐样本调参或混淆单层与多层表达力。

2.3.1 简单的实现

原版坐标 38/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级38把「2·3·1 简单的实现」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

2.3.2 导入权重和偏置

原版坐标 39/211。 对“《深度学习入门》从零实现总复习”而言，目录项「2·3·2 导入权重和偏置」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第39次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

2.3.3 使用权重和偏置的实现

原版坐标 40/211。 第40个正式坐标「2·3·3 使用权重和偏置的实现」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

2.4 感知机的局限性

原版坐标 41/211。 在“《深度学习入门》从零实现总复习”的坐标41中，目录项「2·4 感知机的局限性」用于用权重偏置和层组合实现、反证二值判定；先冻结环境与shape，再以真值表、加权和、阈值、决策边界、XOR反例和隐藏层复核，出现逐样本调参或混淆单层与多层表达力时撤回结论。

2.4.1 异或门

原版坐标 42/211。 目录项「2·4·1 异或门」进入“《深度学习入门》从零实现总复习”后要回答第42个实现问题：它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明，并如何排除逐样本调参或混淆单层与多层表达力。

2.4.2 线性和非线性

原版坐标 43/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级43把「2·4·2 线性和非线性」落实为用权重偏置和层组合实现、反证二值判定；复核者先读取真值表、加权和、阈值、决策边界、XOR反例和隐藏层，不能接受逐样本调参或混淆单层与多层表达力。

2.5 多层感知机

原版坐标 44/211。 对“《深度学习入门》从零实现总复习”而言，目录项「2·5 多层感知机」的最小实现合同是用权重偏置和层组合实现、反证二值判定，第44次检查保存真值表、加权和、阈值、决策边界、XOR反例和隐藏层；若产生逐样本调参或混淆单层与多层表达力，就返回上一步。

2.5.1 已有门电路的组合

原版坐标 45/211。 第45个正式坐标「2·5·1 已有门电路的组合」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

2.5.2 异或门的实现

原版坐标 46/211。 在“《深度学习入门》从零实现总复习”的坐标46中，目录项「2·5·2 异或门的实现」用于用权重偏置和层组合实现、反证二值判定；先冻结环境与shape，再以真值表、加权和、阈值、决策边界、XOR反例和隐藏层复核，出现逐样本调参或混淆单层与多层表达力时撤回结论。

2.6 从与非门到计算机

原版坐标 47/211。 目录项「2·6 从与非门到计算机」进入“《深度学习入门》从零实现总复习”后要回答第47个实现问题：它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明，并如何排除逐样本调参或混淆单层与多层表达力。

2.7 小结

原版坐标 48/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级48把「2·7 小结」落实为复核Softmax-with-Loss的稳定正向和批量反向；复核者先读取logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差，不能接受标签编码或batch归约错误。

第3章 神经网络

原版坐标 49/211。 对“《深度学习入门》从零实现总复习”而言，目录项「第3章 神经网络」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理，第49次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照；若产生矩阵轴错位、softmax溢出或批语义漂移，就返回上一步。

3.1 从感知机到神经网络

原版坐标 50/211。 第50个正式坐标「3·1 从感知机到神经网络」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以真值表、加权和、阈值、决策边界、XOR反例和隐藏层呈现用权重偏置和层组合实现、反证二值判定；逐样本调参或混淆单层与多层表达力会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

3.1.1 神经网络的例子

原版坐标 51/211。 在“《深度学习入门》从零实现总复习”的坐标51中，目录项「3·1·1 神经网络的例子」用于沿张量形状执行仿射、激活、稳定输出与批量推理；先冻结环境与shape，再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核，出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

3.1.2 复习感知机

原版坐标 52/211。 目录项「3·1·2 复习感知机」进入“《深度学习入门》从零实现总复习”后要回答第52个实现问题：它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明，并如何排除逐样本调参或混淆单层与多层表达力。

3.1.3 激活函数登场

原版坐标 53/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级53把「3·1·3 激活函数登场」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

3.2 激活函数

原版坐标 54/211。 对“《深度学习入门》从零实现总复习”而言，目录项「3·2 激活函数」的最小实现合同是建立可复现语言环境和最小程序状态，第54次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

3.2.1 sigmoid函数

原版坐标 55/211。 第55个正式坐标「3·2·1 sigmoid函数」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态；运行成功掩盖类型、作用域或版本漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

3.2.2 阶跃函数的实现

原版坐标 56/211。 在“《深度学习入门》从零实现总复习”的坐标56中，目录项「3·2·2 阶跃函数的实现」用于建立可复现语言环境和最小程序状态；先冻结环境与shape，再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核，出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

3.2.3 阶跃函数的图形

原版坐标 57/211。 目录项「3·2·3 阶跃函数的图形」进入“《深度学习入门》从零实现总复习”后要回答第57个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

3.2.4 sigmoid函数的实现

原版坐标 58/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级58把「3·2·4 sigmoid函数的实现」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

3.2.5 sigmoid函数和阶跃函数的比较

原版坐标 59/211。 对“《深度学习入门》从零实现总复习”而言，目录项「3·2·5 sigmoid函数和阶跃函数的比较」的最小实现合同是建立可复现语言环境和最小程序状态，第59次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

3.2.6 非线性函数

原版坐标 60/211。 第60个正式坐标「3·2·6 非线性函数」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态；运行成功掩盖类型、作用域或版本漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

3.2.7 ReLU函数

原版坐标 61/211。 在“《深度学习入门》从零实现总复习”的坐标61中，目录项「3·2·7 ReLU函数」用于建立可复现语言环境和最小程序状态；先冻结环境与shape，再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核，出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

3.3 多维数组的运算

原版坐标 62/211。 目录项「3·3 多维数组的运算」进入“《深度学习入门》从零实现总复习”后要回答第62个实现问题：它怎样以数组形状、轴和广播执行数值与可视化操作、改变哪个数组或训练状态、由哪些dtype、shape、stride、广播轴、索引、数值范围和绘图输入证明，并如何排除广播或索引产生语义错误但仍可运行。

3.3.1 多维数组

原版坐标 63/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级63把「3·3·1 多维数组」落实为以数组形状、轴和广播执行数值与可视化操作；复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入，不能接受广播或索引产生语义错误但仍可运行。

3.3.2 矩阵乘法

原版坐标 64/211。 对“《深度学习入门》从零实现总复习”而言，目录项「3·3·2 矩阵乘法」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第64次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

3.3.3 神经网络的内积

原版坐标 65/211。 第65个正式坐标「3·3·3 神经网络的内积」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理；矩阵轴错位、softmax溢出或批语义漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

3.4 3层神经网络的实现

原版坐标 66/211。 在“《深度学习入门》从零实现总复习”的坐标66中，目录项「3·4 3层神经网络的实现」用于沿张量形状执行仿射、激活、稳定输出与批量推理；先冻结环境与shape，再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核，出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

3.4.1 符号确认

原版坐标 67/211。 目录项「3·4·1 符号确认」进入“《深度学习入门》从零实现总复习”后要回答第67个实现问题：它怎样把目录坐标转为有代码、形状、梯度、训练和评估的实现合同、改变哪个数组或训练状态、由哪些环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界证明，并如何排除只复述代码或模型名称。

3.4.2 各层间信号传递的实现

原版坐标 68/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级68把「3·4·2 各层间信号传递的实现」落实为沿张量形状执行仿射、激活、稳定输出与批量推理；复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照，不能接受矩阵轴错位、softmax溢出或批语义漂移。

3.4.3 代码实现小结

原版坐标 69/211。 对“《深度学习入门》从零实现总复习”而言，目录项「3·4·3 代码实现小结」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向，第69次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差；若产生标签编码或batch归约错误，就返回上一步。

3.5 输出层的设计

原版坐标 70/211。 第70个正式坐标「3·5 输出层的设计」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理；矩阵轴错位、softmax溢出或批语义漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

3.5.1 恒等函数和softmax函数

原版坐标 71/211。 在“《深度学习入门》从零实现总复习”的坐标71中，目录项「3·5·1 恒等函数和softmax函数」用于建立可复现语言环境和最小程序状态；先冻结环境与shape，再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核，出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

3.5.2 实现softmax函数时的注意事项

原版坐标 72/211。 目录项「3·5·2 实现softmax函数时的注意事项」进入“《深度学习入门》从零实现总复习”后要回答第72个实现问题：它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明，并如何排除运行成功掩盖类型、作用域或版本漂移。

3.5.3 softmax函数的特征

原版坐标 73/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级73把「3·5·3 softmax函数的特征」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

3.5.4 输出层的神经元数量

原版坐标 74/211。 对“《深度学习入门》从零实现总复习”而言，目录项「3·5·4 输出层的神经元数量」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理，第74次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照；若产生矩阵轴错位、softmax溢出或批语义漂移，就返回上一步。

3.6 手写数字识别

原版坐标 75/211。 第75个正式坐标「3·6 手写数字识别」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

3.6.1 MNIST数据集

原版坐标 76/211。 在“《深度学习入门》从零实现总复习”的坐标76中，目录项「3·6·1 MNIST数据集」用于沿张量形状执行仿射、激活、稳定输出与批量推理；先冻结环境与shape，再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核，出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

3.6.2 神经网络的推理处理

原版坐标 77/211。 目录项「3·6·2 神经网络的推理处理」进入“《深度学习入门》从零实现总复习”后要回答第77个实现问题：它怎样沿张量形状执行仿射、激活、稳定输出与批量推理、改变哪个数组或训练状态、由哪些输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照证明，并如何排除矩阵轴错位、softmax溢出或批语义漂移。

3.6.3 批处理

原版坐标 78/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级78把「3·6·3 批处理」落实为沿张量形状执行仿射、激活、稳定输出与批量推理；复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照，不能接受矩阵轴错位、softmax溢出或批语义漂移。

3.7 小结

原版坐标 79/211。 对“《深度学习入门》从零实现总复习”而言，目录项「3·7 小结」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向，第79次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差；若产生标签编码或batch归约错误，就返回上一步。

第4章 神经网络的学习

原版坐标 80/211。 第80个正式坐标「第4章 神经网络的学习」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理；矩阵轴错位、softmax溢出或批语义漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

4.1 从数据中学习

原版坐标 81/211。 在“《深度学习入门》从零实现总复习”的坐标81中，目录项「4·1 从数据中学习」用于以损失、数值微分和更新构造可检查训练循环；先冻结环境与shape，再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核，出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

4.1.1 数据驱动

原版坐标 82/211。 目录项「4·1·1 数据驱动」进入“《深度学习入门》从零实现总复习”后要回答第82个实现问题：它怎样把目录坐标转为有代码、形状、梯度、训练和评估的实现合同、改变哪个数组或训练状态、由哪些环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界证明，并如何排除只复述代码或模型名称。

4.1.2 训练数据和测试数据

原版坐标 83/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级83把「4·1·2 训练数据和测试数据」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

4.2 损失函数

原版坐标 84/211。 对“《深度学习入门》从零实现总复习”而言，目录项「4·2 损失函数」的最小实现合同是建立可复现语言环境和最小程序状态，第84次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

4.2.1 均方误差

原版坐标 85/211。 第85个正式坐标「4·2·1 均方误差」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线呈现以损失、数值微分和更新构造可检查训练循环；测试泄漏或不稳定数值梯度被当作基准会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

4.2.2 交叉熵误差

原版坐标 86/211。 在“《深度学习入门》从零实现总复习”的坐标86中，目录项「4·2·2 交叉熵误差」用于以损失、数值微分和更新构造可检查训练循环；先冻结环境与shape，再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核，出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

4.2.3 mini-batch学习

原版坐标 87/211。 目录项「4·2·3 mini-batch学习」进入“《深度学习入门》从零实现总复习”后要回答第87个实现问题：它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明，并如何排除测试泄漏或不稳定数值梯度被当作基准。

4.2.4 mini-batch版交叉熵误差的实现

原版坐标 88/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级88把「4·2·4 mini-batch版交叉熵误差的实现」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

4.2.5 为何要设定损失函数

原版坐标 89/211。 对“《深度学习入门》从零实现总复习”而言，目录项「4·2·5 为何要设定损失函数」的最小实现合同是建立可复现语言环境和最小程序状态，第89次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常；若产生运行成功掩盖类型、作用域或版本漂移，就返回上一步。

4.3 数值微分

原版坐标 90/211。 第90个正式坐标「4·3 数值微分」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线呈现以损失、数值微分和更新构造可检查训练循环；测试泄漏或不稳定数值梯度被当作基准会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

4.3.1 导数

原版坐标 91/211。 在“《深度学习入门》从零实现总复习”的坐标91中，目录项「4·3·1 导数」用于以损失、数值微分和更新构造可检查训练循环；先冻结环境与shape，再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核，出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

4.3.2 数值微分的例子

原版坐标 92/211。 目录项「4·3·2 数值微分的例子」进入“《深度学习入门》从零实现总复习”后要回答第92个实现问题：它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明，并如何排除测试泄漏或不稳定数值梯度被当作基准。

4.3.3 偏导数

原版坐标 93/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级93把「4·3·3 偏导数」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

4.4 梯度

原版坐标 94/211。 对“《深度学习入门》从零实现总复习”而言，目录项「4·4 梯度」的最小实现合同是以损失、数值微分和更新构造可检查训练循环，第94次检查保存数据角色、batch索引、损失、差分步长、梯度、学习率与曲线；若产生测试泄漏或不稳定数值梯度被当作基准，就返回上一步。

4.4.1 梯度法

原版坐标 95/211。 第95个正式坐标「4·4·1 梯度法」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线呈现以损失、数值微分和更新构造可检查训练循环；测试泄漏或不稳定数值梯度被当作基准会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

4.4.2 神经网络的梯度

原版坐标 96/211。 在“《深度学习入门》从零实现总复习”的坐标96中，目录项「4·4·2 神经网络的梯度」用于沿张量形状执行仿射、激活、稳定输出与批量推理；先冻结环境与shape，再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核，出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

4.5 学习算法的实现

原版坐标 97/211。 目录项「4·5 学习算法的实现」进入“《深度学习入门》从零实现总复习”后要回答第97个实现问题：它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明，并如何排除测试泄漏或不稳定数值梯度被当作基准。

4.5.1 2层神经网络的类

原版坐标 98/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级98把「4·5·1 2层神经网络的类」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

4.5.2 mini-batch的实现

原版坐标 99/211。 对“《深度学习入门》从零实现总复习”而言，目录项「4·5·2 mini-batch的实现」的最小实现合同是以损失、数值微分和更新构造可检查训练循环，第99次检查保存数据角色、batch索引、损失、差分步长、梯度、学习率与曲线；若产生测试泄漏或不稳定数值梯度被当作基准，就返回上一步。

4.5.3 基于测试数据的评价

原版坐标 100/211。 第100个正式坐标「4·5·3 基于测试数据的评价」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

4.6 小结

原版坐标 101/211。 在“《深度学习入门》从零实现总复习”的坐标101中，目录项「4·6 小结」用于复核Softmax-with-Loss的稳定正向和批量反向；先冻结环境与shape，再以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差复核，出现标签编码或batch归约错误时撤回结论。

第5章 误差反向传播法

原版坐标 102/211。 目录项「第5章 误差反向传播法」进入“《深度学习入门》从零实现总复习”后要回答第102个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.1 计算图

原版坐标 103/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级103把「5·1 计算图」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.1.1 用计算图求解

原版坐标 104/211。 对“《深度学习入门》从零实现总复习”而言，目录项「5·1·1 用计算图求解」的最小实现合同是由forward缓存和局部导数组装反向传播，第104次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

5.1.2 局部计算

原版坐标 105/211。 第105个正式坐标「5·1·2 局部计算」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

5.1.3 为何用计算图解题

原版坐标 106/211。 在“《深度学习入门》从零实现总复习”的坐标106中，目录项「5·1·3 为何用计算图解题」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.2 链式法则

原版坐标 107/211。 目录项「5·2 链式法则」进入“《深度学习入门》从零实现总复习”后要回答第107个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.2.1 计算图的反向传播

原版坐标 108/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级108把「5·2·1 计算图的反向传播」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.2.2 什么是链式法则

原版坐标 109/211。 对“《深度学习入门》从零实现总复习”而言，目录项「5·2·2 什么是链式法则」的最小实现合同是由forward缓存和局部导数组装反向传播，第109次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

5.2.3 链式法则和计算图

原版坐标 110/211。 第110个正式坐标「5·2·3 链式法则和计算图」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

5.3 反向传播

原版坐标 111/211。 在“《深度学习入门》从零实现总复习”的坐标111中，目录项「5·3 反向传播」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.3.1 加法节点的反向传播

原版坐标 112/211。 目录项「5·3·1 加法节点的反向传播」进入“《深度学习入门》从零实现总复习”后要回答第112个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.3.2 乘法节点的反向传播

原版坐标 113/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级113把「5·3·2 乘法节点的反向传播」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.3.3 苹果的例子

原版坐标 114/211。 对“《深度学习入门》从零实现总复习”而言，目录项「5·3·3 苹果的例子」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第114次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

5.4 简单层的实现

原版坐标 115/211。 第115个正式坐标「5·4 简单层的实现」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

5.4.1 乘法层的实现

原版坐标 116/211。 在“《深度学习入门》从零实现总复习”的坐标116中，目录项「5·4·1 乘法层的实现」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.4.2 加法层的实现

原版坐标 117/211。 目录项「5·4·2 加法层的实现」进入“《深度学习入门》从零实现总复习”后要回答第117个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.5 激活函数层的实现

原版坐标 118/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级118把「5·5 激活函数层的实现」落实为建立可复现语言环境和最小程序状态；复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常，不能接受运行成功掩盖类型、作用域或版本漂移。

5.5.1 ReLU层

原版坐标 119/211。 对“《深度学习入门》从零实现总复习”而言，目录项「5·5·1 ReLU层」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理，第119次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照；若产生矩阵轴错位、softmax溢出或批语义漂移，就返回上一步。

5.5.2 Sigmoid层

原版坐标 120/211。 第120个正式坐标「5·5·2 Sigmoid层」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

5.6 Affine/Softmax层的实现

原版坐标 121/211。 在“《深度学习入门》从零实现总复习”的坐标121中，目录项「5·6 Affine/Softmax层的实现」用于由forward缓存和局部导数组装反向传播；先冻结环境与shape，再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核，出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.6.1 Affine层

原版坐标 122/211。 目录项「5·6·1 Affine层」进入“《深度学习入门》从零实现总复习”后要回答第122个实现问题：它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明，并如何排除广播凑齐梯度或跳过数值梯度检查。

5.6.2 批版本的Affine层

原版坐标 123/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级123把「5·6·2 批版本的Affine层」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

5.6.3 Softmax-with-Loss层

原版坐标 124/211。 对“《深度学习入门》从零实现总复习”而言，目录项「5·6·3 Softmax-with-Loss层」的最小实现合同是由forward缓存和局部导数组装反向传播，第124次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

5.7 误差反向传播法的实现

原版坐标 125/211。 第125个正式坐标「5·7 误差反向传播法的实现」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

5.7.1 神经网络学习的全貌图

原版坐标 126/211。 在“《深度学习入门》从零实现总复习”的坐标126中，目录项「5·7·1 神经网络学习的全貌图」用于沿张量形状执行仿射、激活、稳定输出与批量推理；先冻结环境与shape，再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核，出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

5.7.2 对应误差反向传播法的神经网络的实现

原版坐标 127/211。 目录项「5·7·2 对应误差反向传播法的神经网络的实现」进入“《深度学习入门》从零实现总复习”后要回答第127个实现问题：它怎样沿张量形状执行仿射、激活、稳定输出与批量推理、改变哪个数组或训练状态、由哪些输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照证明，并如何排除矩阵轴错位、softmax溢出或批语义漂移。

5.7.3 误差反向传播法的梯度确认

原版坐标 128/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级128把「5·7·3 误差反向传播法的梯度确认」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

5.7.4 使用误差反向传播法的学习

原版坐标 129/211。 对“《深度学习入门》从零实现总复习”而言，目录项「5·7·4 使用误差反向传播法的学习」的最小实现合同是以损失、数值微分和更新构造可检查训练循环，第129次检查保存数据角色、batch索引、损失、差分步长、梯度、学习率与曲线；若产生测试泄漏或不稳定数值梯度被当作基准，就返回上一步。

5.8 小结

原版坐标 130/211。 第130个正式坐标「5·8 小结」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差呈现复核Softmax-with-Loss的稳定正向和批量反向；标签编码或batch归约错误会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

第6章 与学习相关的技巧

原版坐标 131/211。 在“《深度学习入门》从零实现总复习”的坐标131中，目录项「第6章 与学习相关的技巧」用于以损失、数值微分和更新构造可检查训练循环；先冻结环境与shape，再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核，出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

6.1 参数的更新

原版坐标 132/211。 目录项「6·1 参数的更新」进入“《深度学习入门》从零实现总复习”后要回答第132个实现问题：它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明，并如何排除不公平基线或读取测试结果选择策略。

6.1.1 探险家的故事

原版坐标 133/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级133把「6·1·1 探险家的故事」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

6.1.2 SGD

原版坐标 134/211。 对“《深度学习入门》从零实现总复习”而言，目录项「6·1·2 SGD」的最小实现合同是在共同基线上比较优化、初始化、归一和正则策略，第134次检查保存共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线；若产生不公平基线或读取测试结果选择策略，就返回上一步。

6.1.3 SGD的缺点

原版坐标 135/211。 第135个正式坐标「6·1·3 SGD的缺点」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线呈现在共同基线上比较优化、初始化、归一和正则策略；不公平基线或读取测试结果选择策略会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

6.1.4 Momentum

原版坐标 136/211。 在“《深度学习入门》从零实现总复习”的坐标136中，目录项「6·1·4 Momentum」用于在共同基线上比较优化、初始化、归一和正则策略；先冻结环境与shape，再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核，出现不公平基线或读取测试结果选择策略时撤回结论。

6.1.5 AdaGrad

原版坐标 137/211。 目录项「6·1·5 AdaGrad」进入“《深度学习入门》从零实现总复习”后要回答第137个实现问题：它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明，并如何排除不公平基线或读取测试结果选择策略。

6.1.6 Adam

原版坐标 138/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级138把「6·1·6 Adam」落实为在共同基线上比较优化、初始化、归一和正则策略；复核者先读取共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线，不能接受不公平基线或读取测试结果选择策略。

6.1.7 使用哪种更新方法

原版坐标 139/211。 对“《深度学习入门》从零实现总复习”而言，目录项「6·1·7 使用哪种更新方法」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第139次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

6.1.8 基于MNIST数据集的更新方法比较

原版坐标 140/211。 第140个正式坐标「6·1·8 基于MNIST数据集的更新方法比较」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理；矩阵轴错位、softmax溢出或批语义漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

6.2 权重的初始值

原版坐标 141/211。 在“《深度学习入门》从零实现总复习”的坐标141中，目录项「6·2 权重的初始值」用于在共同基线上比较优化、初始化、归一和正则策略；先冻结环境与shape，再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核，出现不公平基线或读取测试结果选择策略时撤回结论。

6.2.1 可以将权重初始值设为0吗

原版坐标 142/211。 目录项「6·2·1 可以将权重初始值设为0吗」进入“《深度学习入门》从零实现总复习”后要回答第142个实现问题：它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明，并如何排除不公平基线或读取测试结果选择策略。

6.2.2 隐藏层激活值的分布

原版坐标 143/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级143把「6·2·2 隐藏层激活值的分布」落实为沿张量形状执行仿射、激活、稳定输出与批量推理；复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照，不能接受矩阵轴错位、softmax溢出或批语义漂移。

6.2.3 ReLU的权重初始值

原版坐标 144/211。 对“《深度学习入门》从零实现总复习”而言，目录项「6·2·3 ReLU的权重初始值」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理，第144次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照；若产生矩阵轴错位、softmax溢出或批语义漂移，就返回上一步。

6.2.4 基于MNIST数据集的权重初始值比较

原版坐标 145/211。 第145个正式坐标「6·2·4 基于MNIST数据集的权重初始值比较」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理；矩阵轴错位、softmax溢出或批语义漂移会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

6.3 Batch Normalization

原版坐标 146/211。 在“《深度学习入门》从零实现总复习”的坐标146中，目录项「6·3 Batch Normalization」用于在共同基线上比较优化、初始化、归一和正则策略；先冻结环境与shape，再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核，出现不公平基线或读取测试结果选择策略时撤回结论。

6.3.1 Batch Normalization的算法

原版坐标 147/211。 目录项「6·3·1 Batch Normalization的算法」进入“《深度学习入门》从零实现总复习”后要回答第147个实现问题：它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明，并如何排除不公平基线或读取测试结果选择策略。

6.3.2 Batch Normalization的评估

原版坐标 148/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级148把「6·3·2 Batch Normalization的评估」落实为在共同基线上比较优化、初始化、归一和正则策略；复核者先读取共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线，不能接受不公平基线或读取测试结果选择策略。

6.4 正则化

原版坐标 149/211。 对“《深度学习入门》从零实现总复习”而言，目录项「6·4 正则化」的最小实现合同是在共同基线上比较优化、初始化、归一和正则策略，第149次检查保存共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线；若产生不公平基线或读取测试结果选择策略，就返回上一步。

6.4.1 过拟合

原版坐标 150/211。 第150个正式坐标「6·4·1 过拟合」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线呈现在共同基线上比较优化、初始化、归一和正则策略；不公平基线或读取测试结果选择策略会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

6.4.2 权值衰减

原版坐标 151/211。 在“《深度学习入门》从零实现总复习”的坐标151中，目录项「6·4·2 权值衰减」用于在共同基线上比较优化、初始化、归一和正则策略；先冻结环境与shape，再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核，出现不公平基线或读取测试结果选择策略时撤回结论。

6.4.3 Dropout

原版坐标 152/211。 目录项「6·4·3 Dropout」进入“《深度学习入门》从零实现总复习”后要回答第152个实现问题：它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明，并如何排除不公平基线或读取测试结果选择策略。

6.5 超参数的验证

原版坐标 153/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级153把「6·5 超参数的验证」落实为在共同基线上比较优化、初始化、归一和正则策略；复核者先读取共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线，不能接受不公平基线或读取测试结果选择策略。

6.5.1 验证数据

原版坐标 154/211。 对“《深度学习入门》从零实现总复习”而言，目录项「6·5·1 验证数据」的最小实现合同是在共同基线上比较优化、初始化、归一和正则策略，第154次检查保存共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线；若产生不公平基线或读取测试结果选择策略，就返回上一步。

6.5.2 超参数的最优化

原版坐标 155/211。 第155个正式坐标「6·5·2 超参数的最优化」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线呈现在共同基线上比较优化、初始化、归一和正则策略；不公平基线或读取测试结果选择策略会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

6.5.3 超参数最优化的实现

原版坐标 156/211。 在“《深度学习入门》从零实现总复习”的坐标156中，目录项「6·5·3 超参数最优化的实现」用于在共同基线上比较优化、初始化、归一和正则策略；先冻结环境与shape，再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核，出现不公平基线或读取测试结果选择策略时撤回结论。

6.6 小结

原版坐标 157/211。 目录项「6·6 小结」进入“《深度学习入门》从零实现总复习”后要回答第157个实现问题：它怎样复核Softmax-with-Loss的稳定正向和批量反向、改变哪个数组或训练状态、由哪些logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差证明，并如何排除标签编码或batch归约错误。

第7章 卷积神经网络

原版坐标 158/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级158把「第7章 卷积神经网络」落实为沿张量形状执行仿射、激活、稳定输出与批量推理；复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照，不能接受矩阵轴错位、softmax溢出或批语义漂移。

7.1 整体结构

原版坐标 159/211。 对“《深度学习入门》从零实现总复习”而言，目录项「7·1 整体结构」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第159次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

7.2 卷积层

原版坐标 160/211。 第160个正式坐标「7·2 卷积层」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络；边界取整、通道或批轴错位会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

7.2.1 全连接层存在的问题

原版坐标 161/211。 在“《深度学习入门》从零实现总复习”的坐标161中，目录项「7·2·1 全连接层存在的问题」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；先冻结环境与shape，再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核，出现只复述代码或模型名称时撤回结论。

7.2.2 卷积运算

原版坐标 162/211。 目录项「7·2·2 卷积运算」进入“《深度学习入门》从零实现总复习”后要回答第162个实现问题：它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明，并如何排除边界取整、通道或批轴错位。

7.2.3 填充

原版坐标 163/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级163把「7·2·3 填充」落实为从空间几何和内存重排实现卷积网络；复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器，不能接受边界取整、通道或批轴错位。

7.2.4 步幅

原版坐标 164/211。 对“《深度学习入门》从零实现总复习”而言，目录项「7·2·4 步幅」的最小实现合同是从空间几何和内存重排实现卷积网络，第164次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器；若产生边界取整、通道或批轴错位，就返回上一步。

7.2.5 3维数据的卷积运算

原版坐标 165/211。 第165个正式坐标「7·2·5 3维数据的卷积运算」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络；边界取整、通道或批轴错位会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

7.2.6 结合方块思考

原版坐标 166/211。 在“《深度学习入门》从零实现总复习”的坐标166中，目录项「7·2·6 结合方块思考」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；先冻结环境与shape，再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核，出现只复述代码或模型名称时撤回结论。

7.2.7 批处理

原版坐标 167/211。 目录项「7·2·7 批处理」进入“《深度学习入门》从零实现总复习”后要回答第167个实现问题：它怎样沿张量形状执行仿射、激活、稳定输出与批量推理、改变哪个数组或训练状态、由哪些输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照证明，并如何排除矩阵轴错位、softmax溢出或批语义漂移。

7.3 池化层

原版坐标 168/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级168把「7·3 池化层」落实为从空间几何和内存重排实现卷积网络；复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器，不能接受边界取整、通道或批轴错位。

7.3.1 池化层的特征

原版坐标 169/211。 对“《深度学习入门》从零实现总复习”而言，目录项「7·3·1 池化层的特征」的最小实现合同是从空间几何和内存重排实现卷积网络，第169次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器；若产生边界取整、通道或批轴错位，就返回上一步。

7.4 卷积层和池化层的实现

原版坐标 170/211。 第170个正式坐标「7·4 卷积层和池化层的实现」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

7.4.1 4维数组

原版坐标 171/211。 在“《深度学习入门》从零实现总复习”的坐标171中，目录项「7·4·1 4维数组」用于以数组形状、轴和广播执行数值与可视化操作；先冻结环境与shape，再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核，出现广播或索引产生语义错误但仍可运行时撤回结论。

7.4.2 基于im2col的展开

原版坐标 172/211。 目录项「7·4·2 基于im2col的展开」进入“《深度学习入门》从零实现总复习”后要回答第172个实现问题：它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明，并如何排除边界取整、通道或批轴错位。

7.4.3 卷积层的实现

原版坐标 173/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级173把「7·4·3 卷积层的实现」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

7.4.4 池化层的实现

原版坐标 174/211。 对“《深度学习入门》从零实现总复习”而言，目录项「7·4·4 池化层的实现」的最小实现合同是由forward缓存和局部导数组装反向传播，第174次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差；若产生广播凑齐梯度或跳过数值梯度检查，就返回上一步。

7.5 CNN的实现

原版坐标 175/211。 第175个正式坐标「7·5 CNN的实现」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络；边界取整、通道或批轴错位会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

7.6 CNN的可视化

原版坐标 176/211。 在“《深度学习入门》从零实现总复习”的坐标176中，目录项「7·6 CNN的可视化」用于从空间几何和内存重排实现卷积网络；先冻结环境与shape，再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核，出现边界取整、通道或批轴错位时撤回结论。

7.6.1 第1层权重的可视化

原版坐标 177/211。 目录项「7·6·1 第1层权重的可视化」进入“《深度学习入门》从零实现总复习”后要回答第177个实现问题：它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明，并如何排除边界取整、通道或批轴错位。

7.6.2 基于分层结构的信息提取

原版坐标 178/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级178把「7·6·2 基于分层结构的信息提取」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界，不能接受只复述代码或模型名称。

7.7 具有代表性的CNN

原版坐标 179/211。 对“《深度学习入门》从零实现总复习”而言，目录项「7·7 具有代表性的CNN」的最小实现合同是从空间几何和内存重排实现卷积网络，第179次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器；若产生边界取整、通道或批轴错位，就返回上一步。

7.7.1 LeNet

原版坐标 180/211。 第180个正式坐标「7·7·1 LeNet」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络；边界取整、通道或批轴错位会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

7.7.2 AlexNet

原版坐标 181/211。 在“《深度学习入门》从零实现总复习”的坐标181中，目录项「7·7·2 AlexNet」用于从空间几何和内存重排实现卷积网络；先冻结环境与shape，再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核，出现边界取整、通道或批轴错位时撤回结论。

7.8 小结

原版坐标 182/211。 目录项「7·8 小结」进入“《深度学习入门》从零实现总复习”后要回答第182个实现问题：它怎样复核Softmax-with-Loss的稳定正向和批量反向、改变哪个数组或训练状态、由哪些logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差证明，并如何排除标签编码或batch归约错误。

第8章 深度学习

原版坐标 183/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级183把「第8章 深度学习」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

8.1 加深网络

原版坐标 184/211。 对“《深度学习入门》从零实现总复习”而言，目录项「8·1 加深网络」的最小实现合同是按2016年时间坐标解释架构、算力、应用和展望，第184次检查保存论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签；若产生把当前能力倒填原版或跨预算比较，就返回上一步。

8.1.1 向更深的网络出发

原版坐标 185/211。 第185个正式坐标「8·1·1 向更深的网络出发」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同；只复述代码或模型名称会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

8.1.2 进一步提高识别精度

原版坐标 186/211。 在“《深度学习入门》从零实现总复习”的坐标186中，目录项「8·1·2 进一步提高识别精度」用于按2016年时间坐标解释架构、算力、应用和展望；先冻结环境与shape，再以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签复核，出现把当前能力倒填原版或跨预算比较时撤回结论。

8.1.3 加深层的动机

原版坐标 187/211。 目录项「8·1·3 加深层的动机」进入“《深度学习入门》从零实现总复习”后要回答第187个实现问题：它怎样按2016年时间坐标解释架构、算力、应用和展望、改变哪个数组或训练状态、由哪些论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签证明，并如何排除把当前能力倒填原版或跨预算比较。

8.2 深度学习的小历史

原版坐标 188/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级188把「8·2 深度学习的小历史」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

8.2.1 ImageNet

原版坐标 189/211。 对“《深度学习入门》从零实现总复习”而言，目录项「8·2·1 ImageNet」的最小实现合同是按2016年时间坐标解释架构、算力、应用和展望，第189次检查保存论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签；若产生把当前能力倒填原版或跨预算比较，就返回上一步。

8.2.2 VGG

原版坐标 190/211。 第190个正式坐标「8·2·2 VGG」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签呈现按2016年时间坐标解释架构、算力、应用和展望；把当前能力倒填原版或跨预算比较会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

8.2.3 GoogLeNet

原版坐标 191/211。 在“《深度学习入门》从零实现总复习”的坐标191中，目录项「8·2·3 GoogLeNet」用于从空间几何和内存重排实现卷积网络；先冻结环境与shape，再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核，出现边界取整、通道或批轴错位时撤回结论。

8.2.4 ResNet

原版坐标 192/211。 目录项「8·2·4 ResNet」进入“《深度学习入门》从零实现总复习”后要回答第192个实现问题：它怎样按2016年时间坐标解释架构、算力、应用和展望、改变哪个数组或训练状态、由哪些论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签证明，并如何排除把当前能力倒填原版或跨预算比较。

8.3 深度学习的高速化

原版坐标 193/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级193把「8·3 深度学习的高速化」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

8.3.1 需要努力解决的问题

原版坐标 194/211。 对“《深度学习入门》从零实现总复习”而言，目录项「8·3·1 需要努力解决的问题」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同，第194次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界；若产生只复述代码或模型名称，就返回上一步。

8.3.2 基于GPU的高速化

原版坐标 195/211。 第195个正式坐标「8·3·2 基于GPU的高速化」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签呈现按2016年时间坐标解释架构、算力、应用和展望；把当前能力倒填原版或跨预算比较会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

8.3.3 分布式学习

原版坐标 196/211。 在“《深度学习入门》从零实现总复习”的坐标196中，目录项「8·3·3 分布式学习」用于以损失、数值微分和更新构造可检查训练循环；先冻结环境与shape，再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核，出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

8.3.4 运算精度的位数缩减

原版坐标 197/211。 目录项「8·3·4 运算精度的位数缩减」进入“《深度学习入门》从零实现总复习”后要回答第197个实现问题：它怎样按2016年时间坐标解释架构、算力、应用和展望、改变哪个数组或训练状态、由哪些论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签证明，并如何排除把当前能力倒填原版或跨预算比较。

8.4 深度学习的应用案例

原版坐标 198/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级198把「8·4 深度学习的应用案例」落实为以损失、数值微分和更新构造可检查训练循环；复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线，不能接受测试泄漏或不稳定数值梯度被当作基准。

8.4.1 物体检测

原版坐标 199/211。 对“《深度学习入门》从零实现总复习”而言，目录项「8·4·1 物体检测」的最小实现合同是按2016年时间坐标解释架构、算力、应用和展望，第199次检查保存论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签；若产生把当前能力倒填原版或跨预算比较，就返回上一步。

8.4.2 图像分割

原版坐标 200/211。 第200个正式坐标「8·4·2 图像分割」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作；广播或索引产生语义错误但仍可运行会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

8.4.3 图像标题的生成

原版坐标 201/211。 在“《深度学习入门》从零实现总复习”的坐标201中，目录项「8·4·3 图像标题的生成」用于以数组形状、轴和广播执行数值与可视化操作；先冻结环境与shape，再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核，出现广播或索引产生语义错误但仍可运行时撤回结论。

8.5 深度学习的未来

原版坐标 202/211。 目录项「8·5 深度学习的未来」进入“《深度学习入门》从零实现总复习”后要回答第202个实现问题：它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明，并如何排除测试泄漏或不稳定数值梯度被当作基准。

8.5.1 图像风格变换

原版坐标 203/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级203把「8·5·1 图像风格变换」落实为以数组形状、轴和广播执行数值与可视化操作；复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入，不能接受广播或索引产生语义错误但仍可运行。

8.5.2 图像的生成

原版坐标 204/211。 对“《深度学习入门》从零实现总复习”而言，目录项「8·5·2 图像的生成」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作，第204次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入；若产生广播或索引产生语义错误但仍可运行，就返回上一步。

8.5.3 自动驾驶

原版坐标 205/211。 第205个正式坐标「8·5·3 自动驾驶」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签呈现按2016年时间坐标解释架构、算力、应用和展望；把当前能力倒填原版或跨预算比较会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

8.5.4 Deep Q-Network（强化学习）

原版坐标 206/211。 在“《深度学习入门》从零实现总复习”的坐标206中，目录项「8·5·4 Deep Q-Network（强化学习）」用于以损失、数值微分和更新构造可检查训练循环；先冻结环境与shape，再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核，出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

8.6 小结

原版坐标 207/211。 目录项「8·6 小结」进入“《深度学习入门》从零实现总复习”后要回答第207个实现问题：它怎样复核Softmax-with-Loss的稳定正向和批量反向、改变哪个数组或训练状态、由哪些logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差证明，并如何排除标签编码或batch归约错误。

附录A Softmax-with-Loss层的计算图

原版坐标 208/211。 围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”“《深度学习入门》从零实现总复习”在原版层级208把「附录A Softmax-with-Loss层的计算图」落实为由forward缓存和局部导数组装反向传播；复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差，不能接受广播凑齐梯度或跳过数值梯度检查。

A.1 正向传播

原版坐标 209/211。 对“《深度学习入门》从零实现总复习”而言，目录项「A·1 正向传播」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向，第209次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差；若产生标签编码或batch归约错误，就返回上一步。

A.2 反向传播

原版坐标 210/211。 第210个正式坐标「A·2 反向传播」服务于用统一实现协议复核8章、202个编号层级和附录A，并提交能独立运行、检查和解释的训练系统，需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播；广播凑齐梯度或跳过数值梯度检查会破坏“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”。

A.3 小结

原版坐标 211/211。 在“《深度学习入门》从零实现总复习”的坐标211中，目录项「A·3 小结」用于复核Softmax-with-Loss的稳定正向和批量反向；先冻结环境与shape，再以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差复核，出现标签编码或batch归约错误时撤回结论。

先预测，再操作三个章专属实现实验

《深度学习入门》从零实现总复习的可重放实现协议

unit: "finalReview"
question: "面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？"
scenario: "从空目录搭建一个NumPy神经网络项目，并交付完整训练与反证报告。"
stages: ["锁定环境数据", "组装前向层", "验证反向梯度", "受控训练", "封存测试"]
invariant: "每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签"
fault: "按最终测试精度拼装代码，隐藏广播、梯度错误、数据泄漏、随机性与历史边界"
evidence: "211层覆盖账本、环境锁定、数组shape、层缓存、数值/反向梯度、受控训练曲线、消融、独立测试和版本边界。"
reset: restore_case_stage_trace_mode_step_gates_and_artifact

该协议要求“《深度学习入门》从零实现总复习”在相同环境、数据角色、dtype/shape、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、训练门或证据包没有回到基线，交互状态已经污染比较。

本页回顾

掌握“《深度学习入门》从零实现总复习”不是背诵代码或API，而是能围绕“面对一个新分类任务，怎样从211个原版坐标选择数组表示、网络、梯度、训练技巧和评估协议？”重建环境、shape、前向、梯度、训练与评估证据，并用“每项实现决策都能回到原版目录、代码/shape、数值梯度、受控训练、独立评估和2016/当前时间标签”拒绝“按最终测试精度拼装代码，隐藏广播、梯度错误、数据泄漏、随机性与历史边界”。最终交付为211层覆盖账本、环境锁定、数组shape、层缓存、数值/反向梯度、受控训练曲线、消融、独立测试和版本边界。

练习与答案

小结

• 从零实现是全书精神
• 前向、损失、反向、优化四环
• 每层代码都经得起检验
• 原理掌握胜过框架调用
• 用完整网络回顾八章

名词解释