《深度学习入门》211个原版目录层级学习地图

沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A;用张量路径、单故障梯度轨迹和训练验收门完成独立复核。

学习目标

  • 能说明“《深度学习入门》211个原版目录层级学习地图”如何沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,并区分2016年原版、2018年中文译本与当前扩展
  • 能先预测“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”会改变哪个数组、缓存、梯度或训练状态,再用shape与数值断言逐步复核
  • 能注入“只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界”,用“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”决定接受、降级或拒绝实现结论

为什么从这个实现问题开始

学习地图把“从零实现”定义为能解释每个张量与导数,而不是拒绝一切库函数。 “《深度学习入门》211个原版目录层级学习地图”的贯穿任务是:从零实现一个手写数字分类器,并为每个数组、算子、梯度与评估结果保存证据。 动手前先写下哪个输入、shape、缓存、梯度、参数或指标会变化;运行后补理由不算预测。

围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”建立参考、故障与恢复路径。只有它守住“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”并交付211层覆盖矩阵、环境锁文件、形状表、前向缓存、数值梯度、反向轨迹、训练曲线、测试报告和失败复现。,代码、图形或指标才构成从零实现证据。

书目、211个原版层级与版本边界

“《深度学习入门》211个原版目录层级学习地图”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning》于2016年9月24日出版、320页、ISBN 9784873117584,并以出版社完整目录逐项统计8个章标题、202个编号节/小节与附录A,共211个正式目录层级。出版社官方代码仓库提供可运行示例,官方勘误用于识别已知错误。

本项目没有取得原书完整正文授权,只以官方完整目录、示例代码和勘误限定范围;中文解释、代码实验、交互、练习与答案均为独立教学重写。O’Reilly中文在线书目只用于核对陆宇杰译、人民邮电出版社2018年7月、ISBN 9787115485588和中文目录,不用来证明日文原版正文。原版出版于2016年,代码面向当时的Python与NumPy;当前版本兼容修正、自动微分和后续架构必须单列时间标签。

本页另以技术核对 1技术核对 2技术核对 3核对算法定义、实现语义或数值诊断。外部资料能验证技术事实,不能反向证明原书采用了本站表述。

原版目录层级与实现机制

第1章 Python入门

原版坐标 1/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标1中,目录项「第1章 Python入门」用于建立可复现语言环境和最小程序状态;先冻结环境与shape,再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核,出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

1.1 Python是什么

原版坐标 2/211。 目录项「1·1 Python是什么」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第2个实现问题:它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明,并如何排除运行成功掩盖类型、作用域或版本漂移。

1.2 Python的安装

原版坐标 3/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级3把「1·2 Python的安装」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

1.2.1 Python版本

原版坐标 4/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「1·2·1 Python版本」的最小实现合同是建立可复现语言环境和最小程序状态,第4次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

1.2.2 使用的外部库

原版坐标 5/211。 第5个正式坐标「1·2·2 使用的外部库」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

1.2.3 Anaconda发行版

原版坐标 6/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标6中,目录项「1·2·3 Anaconda发行版」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;先冻结环境与shape,再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核,出现只复述代码或模型名称时撤回结论。

1.3 Python解释器

原版坐标 7/211。 目录项「1·3 Python解释器」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第7个实现问题:它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明,并如何排除运行成功掩盖类型、作用域或版本漂移。

1.3.1 算术计算

原版坐标 8/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级8把「1·3·1 算术计算」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界,不能接受只复述代码或模型名称。

1.3.2 数据类型

原版坐标 9/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「1·3·2 数据类型」的最小实现合同是建立可复现语言环境和最小程序状态,第9次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

1.3.3 变量

原版坐标 10/211。 第10个正式坐标「1·3·3 变量」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态;运行成功掩盖类型、作用域或版本漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

1.3.4 列表

原版坐标 11/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标11中,目录项「1·3·4 列表」用于建立可复现语言环境和最小程序状态;先冻结环境与shape,再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核,出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

1.3.5 字典

原版坐标 12/211。 目录项「1·3·5 字典」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第12个实现问题:它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明,并如何排除运行成功掩盖类型、作用域或版本漂移。

1.3.6 布尔型

原版坐标 13/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级13把「1·3·6 布尔型」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

1.3.7 if语句

原版坐标 14/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「1·3·7 if语句」的最小实现合同是建立可复现语言环境和最小程序状态,第14次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

1.3.8 for语句

原版坐标 15/211。 第15个正式坐标「1·3·8 for语句」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态;运行成功掩盖类型、作用域或版本漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

1.3.9 函数

原版坐标 16/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标16中,目录项「1·3·9 函数」用于建立可复现语言环境和最小程序状态;先冻结环境与shape,再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核,出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

1.4 Python脚本文件

原版坐标 17/211。 目录项「1·4 Python脚本文件」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第17个实现问题:它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明,并如何排除运行成功掩盖类型、作用域或版本漂移。

1.4.1 保存为文件

原版坐标 18/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级18把「1·4·1 保存为文件」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界,不能接受只复述代码或模型名称。

1.4.2 类

原版坐标 19/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「1·4·2 类」的最小实现合同是建立可复现语言环境和最小程序状态,第19次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

1.5 NumPy

原版坐标 20/211。 第20个正式坐标「1·5 NumPy」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作;广播或索引产生语义错误但仍可运行会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

1.5.1 导入NumPy

原版坐标 21/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标21中,目录项「1·5·1 导入NumPy」用于以数组形状、轴和广播执行数值与可视化操作;先冻结环境与shape,再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核,出现广播或索引产生语义错误但仍可运行时撤回结论。

1.5.2 生成NumPy数组

原版坐标 22/211。 目录项「1·5·2 生成NumPy数组」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第22个实现问题:它怎样以数组形状、轴和广播执行数值与可视化操作、改变哪个数组或训练状态、由哪些dtype、shape、stride、广播轴、索引、数值范围和绘图输入证明,并如何排除广播或索引产生语义错误但仍可运行。

1.5.3 NumPy的算术运算

原版坐标 23/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级23把「1·5·3 NumPy的算术运算」落实为以数组形状、轴和广播执行数值与可视化操作;复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入,不能接受广播或索引产生语义错误但仍可运行。

1.5.4 NumPy的N维数组

原版坐标 24/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「1·5·4 NumPy的N维数组」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作,第24次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入;若产生广播或索引产生语义错误但仍可运行,就返回上一步。

1.5.5 广播

原版坐标 25/211。 第25个正式坐标「1·5·5 广播」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作;广播或索引产生语义错误但仍可运行会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

1.5.6 访问元素

原版坐标 26/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标26中,目录项「1·5·6 访问元素」用于以数组形状、轴和广播执行数值与可视化操作;先冻结环境与shape,再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核,出现广播或索引产生语义错误但仍可运行时撤回结论。

1.6 Matplotlib

原版坐标 27/211。 目录项「1·6 Matplotlib」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第27个实现问题:它怎样以数组形状、轴和广播执行数值与可视化操作、改变哪个数组或训练状态、由哪些dtype、shape、stride、广播轴、索引、数值范围和绘图输入证明,并如何排除广播或索引产生语义错误但仍可运行。

1.6.1 绘制简单图形

原版坐标 28/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级28把「1·6·1 绘制简单图形」落实为以数组形状、轴和广播执行数值与可视化操作;复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入,不能接受广播或索引产生语义错误但仍可运行。

1.6.2 pyplot的功能

原版坐标 29/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「1·6·2 pyplot的功能」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作,第29次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入;若产生广播或索引产生语义错误但仍可运行,就返回上一步。

1.6.3 显示图像

原版坐标 30/211。 第30个正式坐标「1·6·3 显示图像」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作;广播或索引产生语义错误但仍可运行会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

1.7 小结

原版坐标 31/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标31中,目录项「1·7 小结」用于复核Softmax-with-Loss的稳定正向和批量反向;先冻结环境与shape,再以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差复核,出现标签编码或batch归约错误时撤回结论。

第2章 感知机

原版坐标 32/211。 目录项「第2章 感知机」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第32个实现问题:它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明,并如何排除逐样本调参或混淆单层与多层表达力。

2.1 感知机是什么

原版坐标 33/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级33把「2·1 感知机是什么」落实为用权重偏置和层组合实现、反证二值判定;复核者先读取真值表、加权和、阈值、决策边界、XOR反例和隐藏层,不能接受逐样本调参或混淆单层与多层表达力。

2.2 简单逻辑电路

原版坐标 34/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「2·2 简单逻辑电路」的最小实现合同是用权重偏置和层组合实现、反证二值判定,第34次检查保存真值表、加权和、阈值、决策边界、XOR反例和隐藏层;若产生逐样本调参或混淆单层与多层表达力,就返回上一步。

2.2.1 与门

原版坐标 35/211。 第35个正式坐标「2·2·1 与门」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以真值表、加权和、阈值、决策边界、XOR反例和隐藏层呈现用权重偏置和层组合实现、反证二值判定;逐样本调参或混淆单层与多层表达力会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

2.2.2 与非门和或门

原版坐标 36/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标36中,目录项「2·2·2 与非门和或门」用于用权重偏置和层组合实现、反证二值判定;先冻结环境与shape,再以真值表、加权和、阈值、决策边界、XOR反例和隐藏层复核,出现逐样本调参或混淆单层与多层表达力时撤回结论。

2.3 感知机的实现

原版坐标 37/211。 目录项「2·3 感知机的实现」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第37个实现问题:它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明,并如何排除逐样本调参或混淆单层与多层表达力。

2.3.1 简单的实现

原版坐标 38/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级38把「2·3·1 简单的实现」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界,不能接受只复述代码或模型名称。

2.3.2 导入权重和偏置

原版坐标 39/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「2·3·2 导入权重和偏置」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第39次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。

2.3.3 使用权重和偏置的实现

原版坐标 40/211。 第40个正式坐标「2·3·3 使用权重和偏置的实现」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

2.4 感知机的局限性

原版坐标 41/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标41中,目录项「2·4 感知机的局限性」用于用权重偏置和层组合实现、反证二值判定;先冻结环境与shape,再以真值表、加权和、阈值、决策边界、XOR反例和隐藏层复核,出现逐样本调参或混淆单层与多层表达力时撤回结论。

2.4.1 异或门

原版坐标 42/211。 目录项「2·4·1 异或门」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第42个实现问题:它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明,并如何排除逐样本调参或混淆单层与多层表达力。

2.4.2 线性和非线性

原版坐标 43/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级43把「2·4·2 线性和非线性」落实为用权重偏置和层组合实现、反证二值判定;复核者先读取真值表、加权和、阈值、决策边界、XOR反例和隐藏层,不能接受逐样本调参或混淆单层与多层表达力。

2.5 多层感知机

原版坐标 44/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「2·5 多层感知机」的最小实现合同是用权重偏置和层组合实现、反证二值判定,第44次检查保存真值表、加权和、阈值、决策边界、XOR反例和隐藏层;若产生逐样本调参或混淆单层与多层表达力,就返回上一步。

2.5.1 已有门电路的组合

原版坐标 45/211。 第45个正式坐标「2·5·1 已有门电路的组合」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

2.5.2 异或门的实现

原版坐标 46/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标46中,目录项「2·5·2 异或门的实现」用于用权重偏置和层组合实现、反证二值判定;先冻结环境与shape,再以真值表、加权和、阈值、决策边界、XOR反例和隐藏层复核,出现逐样本调参或混淆单层与多层表达力时撤回结论。

2.6 从与非门到计算机

原版坐标 47/211。 目录项「2·6 从与非门到计算机」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第47个实现问题:它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明,并如何排除逐样本调参或混淆单层与多层表达力。

2.7 小结

原版坐标 48/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级48把「2·7 小结」落实为复核Softmax-with-Loss的稳定正向和批量反向;复核者先读取logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差,不能接受标签编码或batch归约错误。

第3章 神经网络

原版坐标 49/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「第3章 神经网络」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理,第49次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照;若产生矩阵轴错位、softmax溢出或批语义漂移,就返回上一步。

3.1 从感知机到神经网络

原版坐标 50/211。 第50个正式坐标「3·1 从感知机到神经网络」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以真值表、加权和、阈值、决策边界、XOR反例和隐藏层呈现用权重偏置和层组合实现、反证二值判定;逐样本调参或混淆单层与多层表达力会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

3.1.1 神经网络的例子

原版坐标 51/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标51中,目录项「3·1·1 神经网络的例子」用于沿张量形状执行仿射、激活、稳定输出与批量推理;先冻结环境与shape,再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核,出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

3.1.2 复习感知机

原版坐标 52/211。 目录项「3·1·2 复习感知机」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第52个实现问题:它怎样用权重偏置和层组合实现、反证二值判定、改变哪个数组或训练状态、由哪些真值表、加权和、阈值、决策边界、XOR反例和隐藏层证明,并如何排除逐样本调参或混淆单层与多层表达力。

3.1.3 激活函数登场

原版坐标 53/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级53把「3·1·3 激活函数登场」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

3.2 激活函数

原版坐标 54/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「3·2 激活函数」的最小实现合同是建立可复现语言环境和最小程序状态,第54次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

3.2.1 sigmoid函数

原版坐标 55/211。 第55个正式坐标「3·2·1 sigmoid函数」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态;运行成功掩盖类型、作用域或版本漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

3.2.2 阶跃函数的实现

原版坐标 56/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标56中,目录项「3·2·2 阶跃函数的实现」用于建立可复现语言环境和最小程序状态;先冻结环境与shape,再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核,出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

3.2.3 阶跃函数的图形

原版坐标 57/211。 目录项「3·2·3 阶跃函数的图形」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第57个实现问题:它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明,并如何排除运行成功掩盖类型、作用域或版本漂移。

3.2.4 sigmoid函数的实现

原版坐标 58/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级58把「3·2·4 sigmoid函数的实现」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

3.2.5 sigmoid函数和阶跃函数的比较

原版坐标 59/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「3·2·5 sigmoid函数和阶跃函数的比较」的最小实现合同是建立可复现语言环境和最小程序状态,第59次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

3.2.6 非线性函数

原版坐标 60/211。 第60个正式坐标「3·2·6 非线性函数」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以解释器/包版本、值与类型、控制流、函数输入输出和异常呈现建立可复现语言环境和最小程序状态;运行成功掩盖类型、作用域或版本漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

3.2.7 ReLU函数

原版坐标 61/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标61中,目录项「3·2·7 ReLU函数」用于建立可复现语言环境和最小程序状态;先冻结环境与shape,再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核,出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

3.3 多维数组的运算

原版坐标 62/211。 目录项「3·3 多维数组的运算」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第62个实现问题:它怎样以数组形状、轴和广播执行数值与可视化操作、改变哪个数组或训练状态、由哪些dtype、shape、stride、广播轴、索引、数值范围和绘图输入证明,并如何排除广播或索引产生语义错误但仍可运行。

3.3.1 多维数组

原版坐标 63/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级63把「3·3·1 多维数组」落实为以数组形状、轴和广播执行数值与可视化操作;复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入,不能接受广播或索引产生语义错误但仍可运行。

3.3.2 矩阵乘法

原版坐标 64/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「3·3·2 矩阵乘法」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第64次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。

3.3.3 神经网络的内积

原版坐标 65/211。 第65个正式坐标「3·3·3 神经网络的内积」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理;矩阵轴错位、softmax溢出或批语义漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

3.4 3层神经网络的实现

原版坐标 66/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标66中,目录项「3·4 3层神经网络的实现」用于沿张量形状执行仿射、激活、稳定输出与批量推理;先冻结环境与shape,再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核,出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

3.4.1 符号确认

原版坐标 67/211。 目录项「3·4·1 符号确认」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第67个实现问题:它怎样把目录坐标转为有代码、形状、梯度、训练和评估的实现合同、改变哪个数组或训练状态、由哪些环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界证明,并如何排除只复述代码或模型名称。

3.4.2 各层间信号传递的实现

原版坐标 68/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级68把「3·4·2 各层间信号传递的实现」落实为沿张量形状执行仿射、激活、稳定输出与批量推理;复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照,不能接受矩阵轴错位、softmax溢出或批语义漂移。

3.4.3 代码实现小结

原版坐标 69/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「3·4·3 代码实现小结」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向,第69次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差;若产生标签编码或batch归约错误,就返回上一步。

3.5 输出层的设计

原版坐标 70/211。 第70个正式坐标「3·5 输出层的设计」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理;矩阵轴错位、softmax溢出或批语义漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

3.5.1 恒等函数和softmax函数

原版坐标 71/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标71中,目录项「3·5·1 恒等函数和softmax函数」用于建立可复现语言环境和最小程序状态;先冻结环境与shape,再以解释器/包版本、值与类型、控制流、函数输入输出和异常复核,出现运行成功掩盖类型、作用域或版本漂移时撤回结论。

3.5.2 实现softmax函数时的注意事项

原版坐标 72/211。 目录项「3·5·2 实现softmax函数时的注意事项」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第72个实现问题:它怎样建立可复现语言环境和最小程序状态、改变哪个数组或训练状态、由哪些解释器/包版本、值与类型、控制流、函数输入输出和异常证明,并如何排除运行成功掩盖类型、作用域或版本漂移。

3.5.3 softmax函数的特征

原版坐标 73/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级73把「3·5·3 softmax函数的特征」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

3.5.4 输出层的神经元数量

原版坐标 74/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「3·5·4 输出层的神经元数量」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理,第74次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照;若产生矩阵轴错位、softmax溢出或批语义漂移,就返回上一步。

3.6 手写数字识别

原版坐标 75/211。 第75个正式坐标「3·6 手写数字识别」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

3.6.1 MNIST数据集

原版坐标 76/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标76中,目录项「3·6·1 MNIST数据集」用于沿张量形状执行仿射、激活、稳定输出与批量推理;先冻结环境与shape,再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核,出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

3.6.2 神经网络的推理处理

原版坐标 77/211。 目录项「3·6·2 神经网络的推理处理」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第77个实现问题:它怎样沿张量形状执行仿射、激活、稳定输出与批量推理、改变哪个数组或训练状态、由哪些输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照证明,并如何排除矩阵轴错位、softmax溢出或批语义漂移。

3.6.3 批处理

原版坐标 78/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级78把「3·6·3 批处理」落实为沿张量形状执行仿射、激活、稳定输出与批量推理;复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照,不能接受矩阵轴错位、softmax溢出或批语义漂移。

3.7 小结

原版坐标 79/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「3·7 小结」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向,第79次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差;若产生标签编码或batch归约错误,就返回上一步。

第4章 神经网络的学习

原版坐标 80/211。 第80个正式坐标「第4章 神经网络的学习」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理;矩阵轴错位、softmax溢出或批语义漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

4.1 从数据中学习

原版坐标 81/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标81中,目录项「4·1 从数据中学习」用于以损失、数值微分和更新构造可检查训练循环;先冻结环境与shape,再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核,出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

4.1.1 数据驱动

原版坐标 82/211。 目录项「4·1·1 数据驱动」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第82个实现问题:它怎样把目录坐标转为有代码、形状、梯度、训练和评估的实现合同、改变哪个数组或训练状态、由哪些环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界证明,并如何排除只复述代码或模型名称。

4.1.2 训练数据和测试数据

原版坐标 83/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级83把「4·1·2 训练数据和测试数据」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界,不能接受只复述代码或模型名称。

4.2 损失函数

原版坐标 84/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「4·2 损失函数」的最小实现合同是建立可复现语言环境和最小程序状态,第84次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

4.2.1 均方误差

原版坐标 85/211。 第85个正式坐标「4·2·1 均方误差」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线呈现以损失、数值微分和更新构造可检查训练循环;测试泄漏或不稳定数值梯度被当作基准会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

4.2.2 交叉熵误差

原版坐标 86/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标86中,目录项「4·2·2 交叉熵误差」用于以损失、数值微分和更新构造可检查训练循环;先冻结环境与shape,再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核,出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

4.2.3 mini-batch学习

原版坐标 87/211。 目录项「4·2·3 mini-batch学习」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第87个实现问题:它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明,并如何排除测试泄漏或不稳定数值梯度被当作基准。

4.2.4 mini-batch版交叉熵误差的实现

原版坐标 88/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级88把「4·2·4 mini-batch版交叉熵误差的实现」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

4.2.5 为何要设定损失函数

原版坐标 89/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「4·2·5 为何要设定损失函数」的最小实现合同是建立可复现语言环境和最小程序状态,第89次检查保存解释器/包版本、值与类型、控制流、函数输入输出和异常;若产生运行成功掩盖类型、作用域或版本漂移,就返回上一步。

4.3 数值微分

原版坐标 90/211。 第90个正式坐标「4·3 数值微分」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线呈现以损失、数值微分和更新构造可检查训练循环;测试泄漏或不稳定数值梯度被当作基准会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

4.3.1 导数

原版坐标 91/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标91中,目录项「4·3·1 导数」用于以损失、数值微分和更新构造可检查训练循环;先冻结环境与shape,再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核,出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

4.3.2 数值微分的例子

原版坐标 92/211。 目录项「4·3·2 数值微分的例子」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第92个实现问题:它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明,并如何排除测试泄漏或不稳定数值梯度被当作基准。

4.3.3 偏导数

原版坐标 93/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级93把「4·3·3 偏导数」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

4.4 梯度

原版坐标 94/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「4·4 梯度」的最小实现合同是以损失、数值微分和更新构造可检查训练循环,第94次检查保存数据角色、batch索引、损失、差分步长、梯度、学习率与曲线;若产生测试泄漏或不稳定数值梯度被当作基准,就返回上一步。

4.4.1 梯度法

原版坐标 95/211。 第95个正式坐标「4·4·1 梯度法」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线呈现以损失、数值微分和更新构造可检查训练循环;测试泄漏或不稳定数值梯度被当作基准会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

4.4.2 神经网络的梯度

原版坐标 96/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标96中,目录项「4·4·2 神经网络的梯度」用于沿张量形状执行仿射、激活、稳定输出与批量推理;先冻结环境与shape,再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核,出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

4.5 学习算法的实现

原版坐标 97/211。 目录项「4·5 学习算法的实现」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第97个实现问题:它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明,并如何排除测试泄漏或不稳定数值梯度被当作基准。

4.5.1 2层神经网络的类

原版坐标 98/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级98把「4·5·1 2层神经网络的类」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

4.5.2 mini-batch的实现

原版坐标 99/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「4·5·2 mini-batch的实现」的最小实现合同是以损失、数值微分和更新构造可检查训练循环,第99次检查保存数据角色、batch索引、损失、差分步长、梯度、学习率与曲线;若产生测试泄漏或不稳定数值梯度被当作基准,就返回上一步。

4.5.3 基于测试数据的评价

原版坐标 100/211。 第100个正式坐标「4·5·3 基于测试数据的评价」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

4.6 小结

原版坐标 101/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标101中,目录项「4·6 小结」用于复核Softmax-with-Loss的稳定正向和批量反向;先冻结环境与shape,再以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差复核,出现标签编码或batch归约错误时撤回结论。

第5章 误差反向传播法

原版坐标 102/211。 目录项「第5章 误差反向传播法」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第102个实现问题:它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明,并如何排除广播凑齐梯度或跳过数值梯度检查。

5.1 计算图

原版坐标 103/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级103把「5·1 计算图」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。

5.1.1 用计算图求解

原版坐标 104/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「5·1·1 用计算图求解」的最小实现合同是由forward缓存和局部导数组装反向传播,第104次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差;若产生广播凑齐梯度或跳过数值梯度检查,就返回上一步。

5.1.2 局部计算

原版坐标 105/211。 第105个正式坐标「5·1·2 局部计算」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

5.1.3 为何用计算图解题

原版坐标 106/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标106中,目录项「5·1·3 为何用计算图解题」用于由forward缓存和局部导数组装反向传播;先冻结环境与shape,再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核,出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.2 链式法则

原版坐标 107/211。 目录项「5·2 链式法则」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第107个实现问题:它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明,并如何排除广播凑齐梯度或跳过数值梯度检查。

5.2.1 计算图的反向传播

原版坐标 108/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级108把「5·2·1 计算图的反向传播」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。

5.2.2 什么是链式法则

原版坐标 109/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「5·2·2 什么是链式法则」的最小实现合同是由forward缓存和局部导数组装反向传播,第109次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差;若产生广播凑齐梯度或跳过数值梯度检查,就返回上一步。

5.2.3 链式法则和计算图

原版坐标 110/211。 第110个正式坐标「5·2·3 链式法则和计算图」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播;广播凑齐梯度或跳过数值梯度检查会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

5.3 反向传播

原版坐标 111/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标111中,目录项「5·3 反向传播」用于由forward缓存和局部导数组装反向传播;先冻结环境与shape,再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核,出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.3.1 加法节点的反向传播

原版坐标 112/211。 目录项「5·3·1 加法节点的反向传播」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第112个实现问题:它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明,并如何排除广播凑齐梯度或跳过数值梯度检查。

5.3.2 乘法节点的反向传播

原版坐标 113/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级113把「5·3·2 乘法节点的反向传播」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。

5.3.3 苹果的例子

原版坐标 114/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「5·3·3 苹果的例子」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第114次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。

5.4 简单层的实现

原版坐标 115/211。 第115个正式坐标「5·4 简单层的实现」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播;广播凑齐梯度或跳过数值梯度检查会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

5.4.1 乘法层的实现

原版坐标 116/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标116中,目录项「5·4·1 乘法层的实现」用于由forward缓存和局部导数组装反向传播;先冻结环境与shape,再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核,出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.4.2 加法层的实现

原版坐标 117/211。 目录项「5·4·2 加法层的实现」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第117个实现问题:它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明,并如何排除广播凑齐梯度或跳过数值梯度检查。

5.5 激活函数层的实现

原版坐标 118/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级118把「5·5 激活函数层的实现」落实为建立可复现语言环境和最小程序状态;复核者先读取解释器/包版本、值与类型、控制流、函数输入输出和异常,不能接受运行成功掩盖类型、作用域或版本漂移。

5.5.1 ReLU层

原版坐标 119/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「5·5·1 ReLU层」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理,第119次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照;若产生矩阵轴错位、softmax溢出或批语义漂移,就返回上一步。

5.5.2 Sigmoid层

原版坐标 120/211。 第120个正式坐标「5·5·2 Sigmoid层」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

5.6 Affine/Softmax层的实现

原版坐标 121/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标121中,目录项「5·6 Affine/Softmax层的实现」用于由forward缓存和局部导数组装反向传播;先冻结环境与shape,再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核,出现广播凑齐梯度或跳过数值梯度检查时撤回结论。

5.6.1 Affine层

原版坐标 122/211。 目录项「5·6·1 Affine层」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第122个实现问题:它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明,并如何排除广播凑齐梯度或跳过数值梯度检查。

5.6.2 批版本的Affine层

原版坐标 123/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级123把「5·6·2 批版本的Affine层」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。

5.6.3 Softmax-with-Loss层

原版坐标 124/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「5·6·3 Softmax-with-Loss层」的最小实现合同是由forward缓存和局部导数组装反向传播,第124次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差;若产生广播凑齐梯度或跳过数值梯度检查,就返回上一步。

5.7 误差反向传播法的实现

原版坐标 125/211。 第125个正式坐标「5·7 误差反向传播法的实现」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播;广播凑齐梯度或跳过数值梯度检查会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

5.7.1 神经网络学习的全貌图

原版坐标 126/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标126中,目录项「5·7·1 神经网络学习的全貌图」用于沿张量形状执行仿射、激活、稳定输出与批量推理;先冻结环境与shape,再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核,出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。

5.7.2 对应误差反向传播法的神经网络的实现

原版坐标 127/211。 目录项「5·7·2 对应误差反向传播法的神经网络的实现」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第127个实现问题:它怎样沿张量形状执行仿射、激活、稳定输出与批量推理、改变哪个数组或训练状态、由哪些输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照证明,并如何排除矩阵轴错位、softmax溢出或批语义漂移。

5.7.3 误差反向传播法的梯度确认

原版坐标 128/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级128把「5·7·3 误差反向传播法的梯度确认」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

5.7.4 使用误差反向传播法的学习

原版坐标 129/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「5·7·4 使用误差反向传播法的学习」的最小实现合同是以损失、数值微分和更新构造可检查训练循环,第129次检查保存数据角色、batch索引、损失、差分步长、梯度、学习率与曲线;若产生测试泄漏或不稳定数值梯度被当作基准,就返回上一步。

5.8 小结

原版坐标 130/211。 第130个正式坐标「5·8 小结」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差呈现复核Softmax-with-Loss的稳定正向和批量反向;标签编码或batch归约错误会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

第6章 与学习相关的技巧

原版坐标 131/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标131中,目录项「第6章 与学习相关的技巧」用于以损失、数值微分和更新构造可检查训练循环;先冻结环境与shape,再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核,出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

6.1 参数的更新

原版坐标 132/211。 目录项「6·1 参数的更新」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第132个实现问题:它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明,并如何排除不公平基线或读取测试结果选择策略。

6.1.1 探险家的故事

原版坐标 133/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级133把「6·1·1 探险家的故事」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界,不能接受只复述代码或模型名称。

6.1.2 SGD

原版坐标 134/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「6·1·2 SGD」的最小实现合同是在共同基线上比较优化、初始化、归一和正则策略,第134次检查保存共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线;若产生不公平基线或读取测试结果选择策略,就返回上一步。

6.1.3 SGD的缺点

原版坐标 135/211。 第135个正式坐标「6·1·3 SGD的缺点」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线呈现在共同基线上比较优化、初始化、归一和正则策略;不公平基线或读取测试结果选择策略会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

6.1.4 Momentum

原版坐标 136/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标136中,目录项「6·1·4 Momentum」用于在共同基线上比较优化、初始化、归一和正则策略;先冻结环境与shape,再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核,出现不公平基线或读取测试结果选择策略时撤回结论。

6.1.5 AdaGrad

原版坐标 137/211。 目录项「6·1·5 AdaGrad」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第137个实现问题:它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明,并如何排除不公平基线或读取测试结果选择策略。

6.1.6 Adam

原版坐标 138/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级138把「6·1·6 Adam」落实为在共同基线上比较优化、初始化、归一和正则策略;复核者先读取共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线,不能接受不公平基线或读取测试结果选择策略。

6.1.7 使用哪种更新方法

原版坐标 139/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「6·1·7 使用哪种更新方法」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第139次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。

6.1.8 基于MNIST数据集的更新方法比较

原版坐标 140/211。 第140个正式坐标「6·1·8 基于MNIST数据集的更新方法比较」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理;矩阵轴错位、softmax溢出或批语义漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

6.2 权重的初始值

原版坐标 141/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标141中,目录项「6·2 权重的初始值」用于在共同基线上比较优化、初始化、归一和正则策略;先冻结环境与shape,再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核,出现不公平基线或读取测试结果选择策略时撤回结论。

6.2.1 可以将权重初始值设为0吗

原版坐标 142/211。 目录项「6·2·1 可以将权重初始值设为0吗」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第142个实现问题:它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明,并如何排除不公平基线或读取测试结果选择策略。

6.2.2 隐藏层激活值的分布

原版坐标 143/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级143把「6·2·2 隐藏层激活值的分布」落实为沿张量形状执行仿射、激活、稳定输出与批量推理;复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照,不能接受矩阵轴错位、softmax溢出或批语义漂移。

6.2.3 ReLU的权重初始值

原版坐标 144/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「6·2·3 ReLU的权重初始值」的最小实现合同是沿张量形状执行仿射、激活、稳定输出与批量推理,第144次检查保存输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照;若产生矩阵轴错位、softmax溢出或批语义漂移,就返回上一步。

6.2.4 基于MNIST数据集的权重初始值比较

原版坐标 145/211。 第145个正式坐标「6·2·4 基于MNIST数据集的权重初始值比较」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理;矩阵轴错位、softmax溢出或批语义漂移会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

6.3 Batch Normalization

原版坐标 146/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标146中,目录项「6·3 Batch Normalization」用于在共同基线上比较优化、初始化、归一和正则策略;先冻结环境与shape,再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核,出现不公平基线或读取测试结果选择策略时撤回结论。

6.3.1 Batch Normalization的算法

原版坐标 147/211。 目录项「6·3·1 Batch Normalization的算法」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第147个实现问题:它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明,并如何排除不公平基线或读取测试结果选择策略。

6.3.2 Batch Normalization的评估

原版坐标 148/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级148把「6·3·2 Batch Normalization的评估」落实为在共同基线上比较优化、初始化、归一和正则策略;复核者先读取共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线,不能接受不公平基线或读取测试结果选择策略。

6.4 正则化

原版坐标 149/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「6·4 正则化」的最小实现合同是在共同基线上比较优化、初始化、归一和正则策略,第149次检查保存共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线;若产生不公平基线或读取测试结果选择策略,就返回上一步。

6.4.1 过拟合

原版坐标 150/211。 第150个正式坐标「6·4·1 过拟合」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线呈现在共同基线上比较优化、初始化、归一和正则策略;不公平基线或读取测试结果选择策略会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

6.4.2 权值衰减

原版坐标 151/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标151中,目录项「6·4·2 权值衰减」用于在共同基线上比较优化、初始化、归一和正则策略;先冻结环境与shape,再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核,出现不公平基线或读取测试结果选择策略时撤回结论。

6.4.3 Dropout

原版坐标 152/211。 目录项「6·4·3 Dropout」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第152个实现问题:它怎样在共同基线上比较优化、初始化、归一和正则策略、改变哪个数组或训练状态、由哪些共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线证明,并如何排除不公平基线或读取测试结果选择策略。

6.5 超参数的验证

原版坐标 153/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级153把「6·5 超参数的验证」落实为在共同基线上比较优化、初始化、归一和正则策略;复核者先读取共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线,不能接受不公平基线或读取测试结果选择策略。

6.5.1 验证数据

原版坐标 154/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「6·5·1 验证数据」的最小实现合同是在共同基线上比较优化、初始化、归一和正则策略,第154次检查保存共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线;若产生不公平基线或读取测试结果选择策略,就返回上一步。

6.5.2 超参数的最优化

原版坐标 155/211。 第155个正式坐标「6·5·2 超参数的最优化」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线呈现在共同基线上比较优化、初始化、归一和正则策略;不公平基线或读取测试结果选择策略会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

6.5.3 超参数最优化的实现

原版坐标 156/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标156中,目录项「6·5·3 超参数最优化的实现」用于在共同基线上比较优化、初始化、归一和正则策略;先冻结环境与shape,再以共同初值、batch顺序、优化器状态、激活分布、running统计、mask和验证曲线复核,出现不公平基线或读取测试结果选择策略时撤回结论。

6.6 小结

原版坐标 157/211。 目录项「6·6 小结」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第157个实现问题:它怎样复核Softmax-with-Loss的稳定正向和批量反向、改变哪个数组或训练状态、由哪些logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差证明,并如何排除标签编码或batch归约错误。

第7章 卷积神经网络

原版坐标 158/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级158把「第7章 卷积神经网络」落实为沿张量形状执行仿射、激活、稳定输出与批量推理;复核者先读取输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照,不能接受矩阵轴错位、softmax溢出或批语义漂移。

7.1 整体结构

原版坐标 159/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「7·1 整体结构」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第159次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。

7.2 卷积层

原版坐标 160/211。 第160个正式坐标「7·2 卷积层」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

7.2.1 全连接层存在的问题

原版坐标 161/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标161中,目录项「7·2·1 全连接层存在的问题」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;先冻结环境与shape,再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核,出现只复述代码或模型名称时撤回结论。

7.2.2 卷积运算

原版坐标 162/211。 目录项「7·2·2 卷积运算」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第162个实现问题:它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明,并如何排除边界取整、通道或批轴错位。

7.2.3 填充

原版坐标 163/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级163把「7·2·3 填充」落实为从空间几何和内存重排实现卷积网络;复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器,不能接受边界取整、通道或批轴错位。

7.2.4 步幅

原版坐标 164/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「7·2·4 步幅」的最小实现合同是从空间几何和内存重排实现卷积网络,第164次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器;若产生边界取整、通道或批轴错位,就返回上一步。

7.2.5 3维数据的卷积运算

原版坐标 165/211。 第165个正式坐标「7·2·5 3维数据的卷积运算」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

7.2.6 结合方块思考

原版坐标 166/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标166中,目录项「7·2·6 结合方块思考」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;先冻结环境与shape,再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核,出现只复述代码或模型名称时撤回结论。

7.2.7 批处理

原版坐标 167/211。 目录项「7·2·7 批处理」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第167个实现问题:它怎样沿张量形状执行仿射、激活、稳定输出与批量推理、改变哪个数组或训练状态、由哪些输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照证明,并如何排除矩阵轴错位、softmax溢出或批语义漂移。

7.3 池化层

原版坐标 168/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级168把「7·3 池化层」落实为从空间几何和内存重排实现卷积网络;复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器,不能接受边界取整、通道或批轴错位。

7.3.1 池化层的特征

原版坐标 169/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「7·3·1 池化层的特征」的最小实现合同是从空间几何和内存重排实现卷积网络,第169次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器;若产生边界取整、通道或批轴错位,就返回上一步。

7.4 卷积层和池化层的实现

原版坐标 170/211。 第170个正式坐标「7·4 卷积层和池化层的实现」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播;广播凑齐梯度或跳过数值梯度检查会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

7.4.1 4维数组

原版坐标 171/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标171中,目录项「7·4·1 4维数组」用于以数组形状、轴和广播执行数值与可视化操作;先冻结环境与shape,再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核,出现广播或索引产生语义错误但仍可运行时撤回结论。

7.4.2 基于im2col的展开

原版坐标 172/211。 目录项「7·4·2 基于im2col的展开」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第172个实现问题:它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明,并如何排除边界取整、通道或批轴错位。

7.4.3 卷积层的实现

原版坐标 173/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级173把「7·4·3 卷积层的实现」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。

7.4.4 池化层的实现

原版坐标 174/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「7·4·4 池化层的实现」的最小实现合同是由forward缓存和局部导数组装反向传播,第174次检查保存图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差;若产生广播凑齐梯度或跳过数值梯度检查,就返回上一步。

7.5 CNN的实现

原版坐标 175/211。 第175个正式坐标「7·5 CNN的实现」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

7.6 CNN的可视化

原版坐标 176/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标176中,目录项「7·6 CNN的可视化」用于从空间几何和内存重排实现卷积网络;先冻结环境与shape,再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核,出现边界取整、通道或批轴错位时撤回结论。

7.6.1 第1层权重的可视化

原版坐标 177/211。 目录项「7·6·1 第1层权重的可视化」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第177个实现问题:它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明,并如何排除边界取整、通道或批轴错位。

7.6.2 基于分层结构的信息提取

原版坐标 178/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级178把「7·6·2 基于分层结构的信息提取」落实为把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;复核者先读取环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界,不能接受只复述代码或模型名称。

7.7 具有代表性的CNN

原版坐标 179/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「7·7 具有代表性的CNN」的最小实现合同是从空间几何和内存重排实现卷积网络,第179次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器;若产生边界取整、通道或批轴错位,就返回上一步。

7.7.1 LeNet

原版坐标 180/211。 第180个正式坐标「7·7·1 LeNet」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

7.7.2 AlexNet

原版坐标 181/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标181中,目录项「7·7·2 AlexNet」用于从空间几何和内存重排实现卷积网络;先冻结环境与shape,再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核,出现边界取整、通道或批轴错位时撤回结论。

7.8 小结

原版坐标 182/211。 目录项「7·8 小结」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第182个实现问题:它怎样复核Softmax-with-Loss的稳定正向和批量反向、改变哪个数组或训练状态、由哪些logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差证明,并如何排除标签编码或batch归约错误。

第8章 深度学习

原版坐标 183/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级183把「第8章 深度学习」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

8.1 加深网络

原版坐标 184/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「8·1 加深网络」的最小实现合同是按2016年时间坐标解释架构、算力、应用和展望,第184次检查保存论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签;若产生把当前能力倒填原版或跨预算比较,就返回上一步。

8.1.1 向更深的网络出发

原版坐标 185/211。 第185个正式坐标「8·1·1 向更深的网络出发」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界呈现把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;只复述代码或模型名称会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

8.1.2 进一步提高识别精度

原版坐标 186/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标186中,目录项「8·1·2 进一步提高识别精度」用于按2016年时间坐标解释架构、算力、应用和展望;先冻结环境与shape,再以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签复核,出现把当前能力倒填原版或跨预算比较时撤回结论。

8.1.3 加深层的动机

原版坐标 187/211。 目录项「8·1·3 加深层的动机」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第187个实现问题:它怎样按2016年时间坐标解释架构、算力、应用和展望、改变哪个数组或训练状态、由哪些论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签证明,并如何排除把当前能力倒填原版或跨预算比较。

8.2 深度学习的小历史

原版坐标 188/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级188把「8·2 深度学习的小历史」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

8.2.1 ImageNet

原版坐标 189/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「8·2·1 ImageNet」的最小实现合同是按2016年时间坐标解释架构、算力、应用和展望,第189次检查保存论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签;若产生把当前能力倒填原版或跨预算比较,就返回上一步。

8.2.2 VGG

原版坐标 190/211。 第190个正式坐标「8·2·2 VGG」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签呈现按2016年时间坐标解释架构、算力、应用和展望;把当前能力倒填原版或跨预算比较会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

8.2.3 GoogLeNet

原版坐标 191/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标191中,目录项「8·2·3 GoogLeNet」用于从空间几何和内存重排实现卷积网络;先冻结环境与shape,再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核,出现边界取整、通道或批轴错位时撤回结论。

8.2.4 ResNet

原版坐标 192/211。 目录项「8·2·4 ResNet」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第192个实现问题:它怎样按2016年时间坐标解释架构、算力、应用和展望、改变哪个数组或训练状态、由哪些论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签证明,并如何排除把当前能力倒填原版或跨预算比较。

8.3 深度学习的高速化

原版坐标 193/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级193把「8·3 深度学习的高速化」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

8.3.1 需要努力解决的问题

原版坐标 194/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「8·3·1 需要努力解决的问题」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第194次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。

8.3.2 基于GPU的高速化

原版坐标 195/211。 第195个正式坐标「8·3·2 基于GPU的高速化」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签呈现按2016年时间坐标解释架构、算力、应用和展望;把当前能力倒填原版或跨预算比较会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

8.3.3 分布式学习

原版坐标 196/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标196中,目录项「8·3·3 分布式学习」用于以损失、数值微分和更新构造可检查训练循环;先冻结环境与shape,再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核,出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

8.3.4 运算精度的位数缩减

原版坐标 197/211。 目录项「8·3·4 运算精度的位数缩减」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第197个实现问题:它怎样按2016年时间坐标解释架构、算力、应用和展望、改变哪个数组或训练状态、由哪些论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签证明,并如何排除把当前能力倒填原版或跨预算比较。

8.4 深度学习的应用案例

原版坐标 198/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级198把「8·4 深度学习的应用案例」落实为以损失、数值微分和更新构造可检查训练循环;复核者先读取数据角色、batch索引、损失、差分步长、梯度、学习率与曲线,不能接受测试泄漏或不稳定数值梯度被当作基准。

8.4.1 物体检测

原版坐标 199/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「8·4·1 物体检测」的最小实现合同是按2016年时间坐标解释架构、算力、应用和展望,第199次检查保存论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签;若产生把当前能力倒填原版或跨预算比较,就返回上一步。

8.4.2 图像分割

原版坐标 200/211。 第200个正式坐标「8·4·2 图像分割」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以dtype、shape、stride、广播轴、索引、数值范围和绘图输入呈现以数组形状、轴和广播执行数值与可视化操作;广播或索引产生语义错误但仍可运行会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

8.4.3 图像标题的生成

原版坐标 201/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标201中,目录项「8·4·3 图像标题的生成」用于以数组形状、轴和广播执行数值与可视化操作;先冻结环境与shape,再以dtype、shape、stride、广播轴、索引、数值范围和绘图输入复核,出现广播或索引产生语义错误但仍可运行时撤回结论。

8.5 深度学习的未来

原版坐标 202/211。 目录项「8·5 深度学习的未来」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第202个实现问题:它怎样以损失、数值微分和更新构造可检查训练循环、改变哪个数组或训练状态、由哪些数据角色、batch索引、损失、差分步长、梯度、学习率与曲线证明,并如何排除测试泄漏或不稳定数值梯度被当作基准。

8.5.1 图像风格变换

原版坐标 203/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级203把「8·5·1 图像风格变换」落实为以数组形状、轴和广播执行数值与可视化操作;复核者先读取dtype、shape、stride、广播轴、索引、数值范围和绘图输入,不能接受广播或索引产生语义错误但仍可运行。

8.5.2 图像的生成

原版坐标 204/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「8·5·2 图像的生成」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作,第204次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入;若产生广播或索引产生语义错误但仍可运行,就返回上一步。

8.5.3 自动驾驶

原版坐标 205/211。 第205个正式坐标「8·5·3 自动驾驶」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以论文日期、架构、数据集、训练预算、硬件、指标、应用证据与当前标签呈现按2016年时间坐标解释架构、算力、应用和展望;把当前能力倒填原版或跨预算比较会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

8.5.4 Deep Q-Network(强化学习)

原版坐标 206/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标206中,目录项「8·5·4 Deep Q-Network(强化学习)」用于以损失、数值微分和更新构造可检查训练循环;先冻结环境与shape,再以数据角色、batch索引、损失、差分步长、梯度、学习率与曲线复核,出现测试泄漏或不稳定数值梯度被当作基准时撤回结论。

8.6 小结

原版坐标 207/211。 目录项「8·6 小结」进入“《深度学习入门》211个原版目录层级学习地图”后要回答第207个实现问题:它怎样复核Softmax-with-Loss的稳定正向和批量反向、改变哪个数组或训练状态、由哪些logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差证明,并如何排除标签编码或batch归约错误。

附录A Softmax-with-Loss层的计算图

原版坐标 208/211。 围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”“《深度学习入门》211个原版目录层级学习地图”在原版层级208把「附录A Softmax-with-Loss层的计算图」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。

A.1 正向传播

原版坐标 209/211。 对“《深度学习入门》211个原版目录层级学习地图”而言,目录项「A·1 正向传播」的最小实现合同是复核Softmax-with-Loss的稳定正向和批量反向,第209次检查保存logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差;若产生标签编码或batch归约错误,就返回上一步。

A.2 反向传播

原版坐标 210/211。 第210个正式坐标「A·2 反向传播」服务于沿Python/NumPy、前向传播、损失与梯度、反向传播、训练技巧、CNN和应用恢复8章与附录A,需要以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差呈现由forward缓存和局部导数组装反向传播;广播凑齐梯度或跳过数值梯度检查会破坏“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

A.3 小结

原版坐标 211/211。 在“《深度学习入门》211个原版目录层级学习地图”的坐标211中,目录项「A·3 小结」用于复核Softmax-with-Loss的稳定正向和批量反向;先冻结环境与shape,再以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差复核,出现标签编码或batch归约错误时撤回结论。

先预测,再操作三个章专属实现实验

分步1 / 3

1. 张量、算子与程序状态

固定“从零实现一个手写数字分类器,并为每个数组、算子、梯度与评估结果保存证据。”,在参考与反例间切换,逐阶段查看“冻结环境、追踪前向、核对梯度、执行训练、独立评估”的输入、代码动作、输出和shape检查。

张量信号路径

选择运行情形,逐步核对形状、算子与输出

怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?

输入设置

从零实现一个手写数字分类器,并为每个数组、算子、梯度与评估结果保存证据。 固定环境、数据、shape、初值、顺序、容差和种子。

事前预测

沿“冻结环境 → 追踪前向 → 核对梯度 → 执行训练 → 独立评估”得到可复核实现结果。

适用边界

全过程必须满足“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”。

输入张量或程序状态

《深度学习入门》211个原版目录层级学习地图:锁定解释器、依赖、输入与数据角色,保持其余实现合同不变

本步算子或代码动作

冻结版本、dtype、shape、轴、种子和允许读取的信息,并持续满足“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”

输出张量或训练状态

冻结环境产生可追溯输入状态

形状、梯度与数值检查

可追溯输入状态、shape与数值断言;出现“只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界”时停止

原版坐标:第1章 Python入门、1.1 Python是什么、1.2 Python的安装、1.2.1 Python版本、1.2.2 使用的外部库、1.2.3 Anaconda发行版、1.3 Python解释器、1.3.1 算术计算、1.3.2 数据类型、1.3.3 变量、1.3.4 列表、1.3.5 字典、1.3.6 布尔型、1.3.7 if语句、1.3.8 for语句、1.3.9 函数、1.4 Python脚本文件、1.4.1 保存为文件、1.4.2 类、1.5 NumPy、1.5.1 导入NumPy、1.5.2 生成NumPy数组、1.5.3 NumPy的算术运算、1.5.4 NumPy的N维数组、1.5.5 广播、1.5.6 访问元素、1.6 Matplotlib、1.6.1 绘制简单图形、1.6.2 pyplot的功能、1.6.3 显示图像、1.7 小结、第2章 感知机、2.1 感知机是什么、2.2 简单逻辑电路、2.2.1 与门、2.2.2 与非门和或门、2.3 感知机的实现、2.3.1 简单的实现、2.3.2 导入权重和偏置、2.3.3 使用权重和偏置的实现、2.4 感知机的局限性、2.4.1 异或门、2.4.2 线性和非线性、2.5 多层感知机、2.5.1 已有门电路的组合、2.5.2 异或门的实现、2.6 从与非门到计算机、2.7 小结、第3章 神经网络、3.1 从感知机到神经网络、3.1.1 神经网络的例子、3.1.2 复习感知机、3.1.3 激活函数登场、3.2 激活函数、3.2.1 sigmoid函数、3.2.2 阶跃函数的实现、3.2.3 阶跃函数的图形、3.2.4 sigmoid函数的实现、3.2.5 sigmoid函数和阶跃函数的比较、3.2.6 非线性函数、3.2.7 ReLU函数、3.3 多维数组的运算、3.3.1 多维数组、3.3.2 矩阵乘法、3.3.3 神经网络的内积、3.4 3层神经网络的实现、3.4.1 符号确认、3.4.2 各层间信号传递的实现、3.4.3 代码实现小结、3.5 输出层的设计、3.5.1 恒等函数和softmax函数、3.5.2 实现softmax函数时的注意事项、3.5.3 softmax函数的特征、3.5.4 输出层的神经元数量、3.6 手写数字识别、3.6.1 MNIST数据集、3.6.2 神经网络的推理处理、3.6.3 批处理、3.7 小结、第4章 神经网络的学习、4.1 从数据中学习、4.1.1 数据驱动、4.1.2 训练数据和测试数据、4.2 损失函数、4.2.1 均方误差、4.2.2 交叉熵误差、4.2.3 mini-batch学习、4.2.4 mini-batch版交叉熵误差的实现、4.2.5 为何要设定损失函数、4.3 数值微分、4.3.1 导数、4.3.2 数值微分的例子、4.3.3 偏导数、4.4 梯度、4.4.1 梯度法、4.4.2 神经网络的梯度、4.5 学习算法的实现、4.5.1 2层神经网络的类、4.5.2 mini-batch的实现、4.5.3 基于测试数据的评价、4.6 小结、第5章 误差反向传播法、5.1 计算图、5.1.1 用计算图求解、5.1.2 局部计算、5.1.3 为何用计算图解题、5.2 链式法则、5.2.1 计算图的反向传播、5.2.2 什么是链式法则、5.2.3 链式法则和计算图、5.3 反向传播、5.3.1 加法节点的反向传播、5.3.2 乘法节点的反向传播、5.3.3 苹果的例子、5.4 简单层的实现、5.4.1 乘法层的实现、5.4.2 加法层的实现、5.5 激活函数层的实现、5.5.1 ReLU层、5.5.2 Sigmoid层、5.6 Affine/Softmax层的实现、5.6.1 Affine层、5.6.2 批版本的Affine层、5.6.3 Softmax-with-Loss层、5.7 误差反向传播法的实现、5.7.1 神经网络学习的全貌图、5.7.2 对应误差反向传播法的神经网络的实现、5.7.3 误差反向传播法的梯度确认、5.7.4 使用误差反向传播法的学习、5.8 小结、第6章 与学习相关的技巧、6.1 参数的更新、6.1.1 探险家的故事、6.1.2 SGD、6.1.3 SGD的缺点、6.1.4 Momentum、6.1.5 AdaGrad、6.1.6 Adam、6.1.7 使用哪种更新方法、6.1.8 基于MNIST数据集的更新方法比较、6.2 权重的初始值、6.2.1 可以将权重初始值设为0吗、6.2.2 隐藏层激活值的分布、6.2.3 ReLU的权重初始值、6.2.4 基于MNIST数据集的权重初始值比较、6.3 Batch Normalization、6.3.1 Batch Normalization的算法、6.3.2 Batch Normalization的评估、6.4 正则化、6.4.1 过拟合、6.4.2 权值衰减、6.4.3 Dropout、6.5 超参数的验证、6.5.1 验证数据、6.5.2 超参数的最优化、6.5.3 超参数最优化的实现、6.6 小结、第7章 卷积神经网络、7.1 整体结构、7.2 卷积层、7.2.1 全连接层存在的问题、7.2.2 卷积运算、7.2.3 填充、7.2.4 步幅、7.2.5 3维数据的卷积运算、7.2.6 结合方块思考、7.2.7 批处理、7.3 池化层、7.3.1 池化层的特征、7.4 卷积层和池化层的实现、7.4.1 4维数组、7.4.2 基于im2col的展开、7.4.3 卷积层的实现、7.4.4 池化层的实现、7.5 CNN的实现、7.6 CNN的可视化、7.6.1 第1层权重的可视化、7.6.2 基于分层结构的信息提取、7.7 具有代表性的CNN、7.7.1 LeNet、7.7.2 AlexNet、7.8 小结、第8章 深度学习、8.1 加深网络、8.1.1 向更深的网络出发、8.1.2 进一步提高识别精度、8.1.3 加深层的动机、8.2 深度学习的小历史、8.2.1 ImageNet、8.2.2 VGG、8.2.3 GoogLeNet、8.2.4 ResNet、8.3 深度学习的高速化、8.3.1 需要努力解决的问题、8.3.2 基于GPU的高速化、8.3.3 分布式学习、8.3.4 运算精度的位数缩减、8.4 深度学习的应用案例、8.4.1 物体检测、8.4.2 图像分割、8.4.3 图像标题的生成、8.5 深度学习的未来、8.5.1 图像风格变换、8.5.2 图像的生成、8.5.3 自动驾驶、8.5.4 Deep Q-Network(强化学习)、8.6 小结、附录A Softmax-with-Loss层的计算图、A.1 正向传播、A.2 反向传播、A.3 小结

《深度学习入门》211个原版目录层级学习地图的可重放实现协议

阶段允许动作必留证据拒绝条件
冻结环境在“《深度学习入门》211个原版目录层级学习地图”执行冻结环境,只改变声明的代码、数组或训练状态环境、输入、dtype/shape、数据角色与版本环境或shape不可追溯
追踪前向在“《深度学习入门》211个原版目录层级学习地图”执行追踪前向,只改变声明的代码、数组或训练状态层、参数、缓存、梯度、优化器状态与输出只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界
核对梯度在“《深度学习入门》211个原版目录层级学习地图”执行核对梯度,只改变声明的代码、数组或训练状态层、参数、缓存、梯度、优化器状态与输出只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界
执行训练在“《深度学习入门》211个原版目录层级学习地图”执行执行训练,只改变声明的代码、数组或训练状态层、参数、缓存、梯度、优化器状态与输出只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界
独立评估在“《深度学习入门》211个原版目录层级学习地图”执行独立评估,只改变声明的代码、数组或训练状态梯度误差、曲线、独立评估、反例与复现无法重放或缺少独立测试
unit: "learningMap"
question: "怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?"
scenario: "从零实现一个手写数字分类器,并为每个数组、算子、梯度与评估结果保存证据。"
stages: ["冻结环境", "追踪前向", "核对梯度", "执行训练", "独立评估"]
invariant: "8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯"
fault: "只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界"
evidence: "211层覆盖矩阵、环境锁文件、形状表、前向缓存、数值梯度、反向轨迹、训练曲线、测试报告和失败复现。"
reset: restore_case_stage_trace_mode_step_gates_and_artifact

该协议要求“《深度学习入门》211个原版目录层级学习地图”在相同环境、数据角色、dtype/shape、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、训练门或证据包没有回到基线,交互状态已经污染比较。

本页回顾

掌握“《深度学习入门》211个原版目录层级学习地图”不是背诵代码或API,而是能围绕“怎样把211个原版目录坐标组织成一条能从数组形状追到梯度、训练和评估的从零实现路径?”重建环境、shape、前向、梯度、训练与评估证据,并用“8个章标题、202个编号节/小节和附录A逐项覆盖,代码、张量形状、数值检查、训练角色和版本边界可追溯”拒绝“只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界”。最终交付为211层覆盖矩阵、环境锁文件、形状表、前向缓存、数值梯度、反向轨迹、训练曲线、测试报告和失败复现。

练习与答案

练习

  1. 问题 1:实现合同。 “《深度学习入门》211个原版目录层级学习地图”为什么必须先冻结环境、数据角色、dtype/shape、初值、顺序、容差和种子?
  1. 问题 2:目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习?
  1. 问题 3:故障恢复。 怎样证明“只调用现代框架或复制最终代码,遗漏形状推导、梯度检查、测试隔离、附录和2016年原版边界”已经被修正?

小结

  • 八章从感知机到深度学习
  • 211 个原版层级逐项实现
  • 每章从零手写可运行代码
  • 先预测再动手是核心学法
  • 交付:不依赖框架的实现力

名词解释

名词解释

本章出现的专业名词,用大白话再讲一遍。

Python入门

检索键 dls-A 对应目录坐标「第1章 Python入门」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Python是什么

检索键 dls-B 对应目录坐标「1·1 Python是什么」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Python的安装

检索键 dls-C 对应目录坐标「1·2 Python的安装」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Python版本

检索键 dls-D 对应目录坐标「1·2·1 Python版本」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

使用的外部库

检索键 dls-E 对应目录坐标「1·2·2 使用的外部库」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Anaconda发行版

检索键 dls-F 对应目录坐标「1·2·3 Anaconda发行版」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Python解释器

检索键 dls-G 对应目录坐标「1·3 Python解释器」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

算术计算

检索键 dls-H 对应目录坐标「1·3·1 算术计算」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

数据类型

检索键 dls-I 对应目录坐标「1·3·2 数据类型」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

变量

检索键 dls-J 对应目录坐标「1·3·3 变量」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

列表

检索键 dls-K 对应目录坐标「1·3·4 列表」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

字典

检索键 dls-L 对应目录坐标「1·3·5 字典」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

布尔型

检索键 dls-M 对应目录坐标「1·3·6 布尔型」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

if语句

检索键 dls-N 对应目录坐标「1·3·7 if语句」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

for语句

检索键 dls-O 对应目录坐标「1·3·8 for语句」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

函数

检索键 dls-P 对应目录坐标「1·3·9 函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Python脚本文件

检索键 dls-Q 对应目录坐标「1·4 Python脚本文件」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

保存为文件

检索键 dls-R 对应目录坐标「1·4·1 保存为文件」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

检索键 dls-S 对应目录坐标「1·4·2 类」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

NumPy

检索键 dls-T 对应目录坐标「1·5 NumPy」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

导入NumPy

检索键 dls-U 对应目录坐标「1·5·1 导入NumPy」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

生成NumPy数组

检索键 dls-V 对应目录坐标「1·5·2 生成NumPy数组」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

NumPy的算术运算

检索键 dls-W 对应目录坐标「1·5·3 NumPy的算术运算」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

NumPy的N维数组

检索键 dls-X 对应目录坐标「1·5·4 NumPy的N维数组」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

广播

检索键 dls-Y 对应目录坐标「1·5·5 广播」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

访问元素

检索键 dls-Z 对应目录坐标「1·5·6 访问元素」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Matplotlib

检索键 dls-AA 对应目录坐标「1·6 Matplotlib」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

绘制简单图形

检索键 dls-AB 对应目录坐标「1·6·1 绘制简单图形」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

pyplot的功能

检索键 dls-AC 对应目录坐标「1·6·2 pyplot的功能」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

显示图像

检索键 dls-AD 对应目录坐标「1·6·3 显示图像」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-AE 对应目录坐标「1·7 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

感知机

检索键 dls-AF 对应目录坐标「第2章 感知机」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

感知机是什么

检索键 dls-AG 对应目录坐标「2·1 感知机是什么」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

简单逻辑电路

检索键 dls-AH 对应目录坐标「2·2 简单逻辑电路」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

与门

检索键 dls-AI 对应目录坐标「2·2·1 与门」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

与非门和或门

检索键 dls-AJ 对应目录坐标「2·2·2 与非门和或门」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

感知机的实现

检索键 dls-AK 对应目录坐标「2·3 感知机的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

简单的实现

检索键 dls-AL 对应目录坐标「2·3·1 简单的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

导入权重和偏置

检索键 dls-AM 对应目录坐标「2·3·2 导入权重和偏置」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

使用权重和偏置的实现

检索键 dls-AN 对应目录坐标「2·3·3 使用权重和偏置的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

感知机的局限性

检索键 dls-AO 对应目录坐标「2·4 感知机的局限性」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

异或门

检索键 dls-AP 对应目录坐标「2·4·1 异或门」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

线性和非线性

检索键 dls-AQ 对应目录坐标「2·4·2 线性和非线性」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

多层感知机

检索键 dls-AR 对应目录坐标「2·5 多层感知机」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

已有门电路的组合

检索键 dls-AS 对应目录坐标「2·5·1 已有门电路的组合」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

异或门的实现

检索键 dls-AT 对应目录坐标「2·5·2 异或门的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

从与非门到计算机

检索键 dls-AU 对应目录坐标「2·6 从与非门到计算机」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-AV 对应目录坐标「2·7 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络

检索键 dls-AW 对应目录坐标「第3章 神经网络」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

从感知机到神经网络

检索键 dls-AX 对应目录坐标「3·1 从感知机到神经网络」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络的例子

检索键 dls-AY 对应目录坐标「3·1·1 神经网络的例子」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

复习感知机

检索键 dls-AZ 对应目录坐标「3·1·2 复习感知机」;在“《深度学习入门》211个原版目录层级学习地图”中用于用权重偏置和层组合实现、反证二值判定,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

激活函数登场

检索键 dls-BA 对应目录坐标「3·1·3 激活函数登场」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

激活函数

检索键 dls-BB 对应目录坐标「3·2 激活函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

sigmoid函数

检索键 dls-BC 对应目录坐标「3·2·1 sigmoid函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

阶跃函数的实现

检索键 dls-BD 对应目录坐标「3·2·2 阶跃函数的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

阶跃函数的图形

检索键 dls-BE 对应目录坐标「3·2·3 阶跃函数的图形」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

sigmoid函数的实现

检索键 dls-BF 对应目录坐标「3·2·4 sigmoid函数的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

sigmoid函数和阶跃函数的比较

检索键 dls-BG 对应目录坐标「3·2·5 sigmoid函数和阶跃函数的比较」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

非线性函数

检索键 dls-BH 对应目录坐标「3·2·6 非线性函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

ReLU函数

检索键 dls-BI 对应目录坐标「3·2·7 ReLU函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

多维数组的运算

检索键 dls-BJ 对应目录坐标「3·3 多维数组的运算」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

多维数组

检索键 dls-BK 对应目录坐标「3·3·1 多维数组」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

矩阵乘法

检索键 dls-BL 对应目录坐标「3·3·2 矩阵乘法」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络的内积

检索键 dls-BM 对应目录坐标「3·3·3 神经网络的内积」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

3层神经网络的实现

检索键 dls-BN 对应目录坐标「3·4 3层神经网络的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

符号确认

检索键 dls-BO 对应目录坐标「3·4·1 符号确认」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

各层间信号传递的实现

检索键 dls-BP 对应目录坐标「3·4·2 各层间信号传递的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

代码实现小结

检索键 dls-BQ 对应目录坐标「3·4·3 代码实现小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

输出层的设计

检索键 dls-BR 对应目录坐标「3·5 输出层的设计」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

恒等函数和softmax函数

检索键 dls-BS 对应目录坐标「3·5·1 恒等函数和softmax函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

实现softmax函数时的注意事项

检索键 dls-BT 对应目录坐标「3·5·2 实现softmax函数时的注意事项」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

softmax函数的特征

检索键 dls-BU 对应目录坐标「3·5·3 softmax函数的特征」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

输出层的神经元数量

检索键 dls-BV 对应目录坐标「3·5·4 输出层的神经元数量」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

手写数字识别

检索键 dls-BW 对应目录坐标「3·6 手写数字识别」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

MNIST数据集

检索键 dls-BX 对应目录坐标「3·6·1 MNIST数据集」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络的推理处理

检索键 dls-BY 对应目录坐标「3·6·2 神经网络的推理处理」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

批处理

检索键 dls-BZ 对应目录坐标「3·6·3 批处理」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-CA 对应目录坐标「3·7 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络的学习

检索键 dls-CB 对应目录坐标「第4章 神经网络的学习」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

从数据中学习

检索键 dls-CC 对应目录坐标「4·1 从数据中学习」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

数据驱动

检索键 dls-CD 对应目录坐标「4·1·1 数据驱动」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

训练数据和测试数据

检索键 dls-CE 对应目录坐标「4·1·2 训练数据和测试数据」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

损失函数

检索键 dls-CF 对应目录坐标「4·2 损失函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

均方误差

检索键 dls-CG 对应目录坐标「4·2·1 均方误差」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

交叉熵误差

检索键 dls-CH 对应目录坐标「4·2·2 交叉熵误差」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

mini-batch学习

检索键 dls-CI 对应目录坐标「4·2·3 mini-batch学习」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

mini-batch版交叉熵误差的实现

检索键 dls-CJ 对应目录坐标「4·2·4 mini-batch版交叉熵误差的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

为何要设定损失函数

检索键 dls-CK 对应目录坐标「4·2·5 为何要设定损失函数」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

数值微分

检索键 dls-CL 对应目录坐标「4·3 数值微分」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

导数

检索键 dls-CM 对应目录坐标「4·3·1 导数」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

数值微分的例子

检索键 dls-CN 对应目录坐标「4·3·2 数值微分的例子」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

偏导数

检索键 dls-CO 对应目录坐标「4·3·3 偏导数」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

梯度

检索键 dls-CP 对应目录坐标「4·4 梯度」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

梯度法

检索键 dls-CQ 对应目录坐标「4·4·1 梯度法」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络的梯度

检索键 dls-CR 对应目录坐标「4·4·2 神经网络的梯度」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

学习算法的实现

检索键 dls-CS 对应目录坐标「4·5 学习算法的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

2层神经网络的类

检索键 dls-CT 对应目录坐标「4·5·1 2层神经网络的类」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

mini-batch的实现

检索键 dls-CU 对应目录坐标「4·5·2 mini-batch的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

基于测试数据的评价

检索键 dls-CV 对应目录坐标「4·5·3 基于测试数据的评价」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-CW 对应目录坐标「4·6 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

误差反向传播法

检索键 dls-CX 对应目录坐标「第5章 误差反向传播法」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

计算图

检索键 dls-CY 对应目录坐标「5·1 计算图」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

用计算图求解

检索键 dls-CZ 对应目录坐标「5·1·1 用计算图求解」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

局部计算

检索键 dls-DA 对应目录坐标「5·1·2 局部计算」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

为何用计算图解题

检索键 dls-DB 对应目录坐标「5·1·3 为何用计算图解题」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

链式法则

检索键 dls-DC 对应目录坐标「5·2 链式法则」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

计算图的反向传播

检索键 dls-DD 对应目录坐标「5·2·1 计算图的反向传播」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

什么是链式法则

检索键 dls-DE 对应目录坐标「5·2·2 什么是链式法则」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

链式法则和计算图

检索键 dls-DF 对应目录坐标「5·2·3 链式法则和计算图」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

反向传播

检索键 dls-DG 对应目录坐标「5·3 反向传播」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

加法节点的反向传播

检索键 dls-DH 对应目录坐标「5·3·1 加法节点的反向传播」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

乘法节点的反向传播

检索键 dls-DI 对应目录坐标「5·3·2 乘法节点的反向传播」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

苹果的例子

检索键 dls-DJ 对应目录坐标「5·3·3 苹果的例子」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

简单层的实现

检索键 dls-DK 对应目录坐标「5·4 简单层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

乘法层的实现

检索键 dls-DL 对应目录坐标「5·4·1 乘法层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

加法层的实现

检索键 dls-DM 对应目录坐标「5·4·2 加法层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

激活函数层的实现

检索键 dls-DN 对应目录坐标「5·5 激活函数层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于建立可复现语言环境和最小程序状态,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

ReLU层

检索键 dls-DO 对应目录坐标「5·5·1 ReLU层」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Sigmoid层

检索键 dls-DP 对应目录坐标「5·5·2 Sigmoid层」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Affine/Softmax层的实现

检索键 dls-DQ 对应目录坐标「5·6 Affine/Softmax层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Affine层

检索键 dls-DR 对应目录坐标「5·6·1 Affine层」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

批版本的Affine层

检索键 dls-DS 对应目录坐标「5·6·2 批版本的Affine层」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Softmax-with-Loss层

检索键 dls-DT 对应目录坐标「5·6·3 Softmax-with-Loss层」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

误差反向传播法的实现

检索键 dls-DU 对应目录坐标「5·7 误差反向传播法的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

神经网络学习的全貌图

检索键 dls-DV 对应目录坐标「5·7·1 神经网络学习的全貌图」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

对应误差反向传播法的神经网络的实现

检索键 dls-DW 对应目录坐标「5·7·2 对应误差反向传播法的神经网络的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

误差反向传播法的梯度确认

检索键 dls-DX 对应目录坐标「5·7·3 误差反向传播法的梯度确认」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

使用误差反向传播法的学习

检索键 dls-DY 对应目录坐标「5·7·4 使用误差反向传播法的学习」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-DZ 对应目录坐标「5·8 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

与学习相关的技巧

检索键 dls-EA 对应目录坐标「第6章 与学习相关的技巧」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

参数的更新

检索键 dls-EB 对应目录坐标「6·1 参数的更新」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

探险家的故事

检索键 dls-EC 对应目录坐标「6·1·1 探险家的故事」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

SGD

检索键 dls-ED 对应目录坐标「6·1·2 SGD」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

SGD的缺点

检索键 dls-EE 对应目录坐标「6·1·3 SGD的缺点」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Momentum

检索键 dls-EF 对应目录坐标「6·1·4 Momentum」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

AdaGrad

检索键 dls-EG 对应目录坐标「6·1·5 AdaGrad」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Adam

检索键 dls-EH 对应目录坐标「6·1·6 Adam」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

使用哪种更新方法

检索键 dls-EI 对应目录坐标「6·1·7 使用哪种更新方法」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

基于MNIST数据集的更新方法比较

检索键 dls-EJ 对应目录坐标「6·1·8 基于MNIST数据集的更新方法比较」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

权重的初始值

检索键 dls-EK 对应目录坐标「6·2 权重的初始值」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

可以将权重初始值设为0吗

检索键 dls-EL 对应目录坐标「6·2·1 可以将权重初始值设为0吗」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

隐藏层激活值的分布

检索键 dls-EM 对应目录坐标「6·2·2 隐藏层激活值的分布」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

ReLU的权重初始值

检索键 dls-EN 对应目录坐标「6·2·3 ReLU的权重初始值」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

基于MNIST数据集的权重初始值比较

检索键 dls-EO 对应目录坐标「6·2·4 基于MNIST数据集的权重初始值比较」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Batch Normalization

检索键 dls-EP 对应目录坐标「6·3 Batch Normalization」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Batch Normalization的算法

检索键 dls-EQ 对应目录坐标「6·3·1 Batch Normalization的算法」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Batch Normalization的评估

检索键 dls-ER 对应目录坐标「6·3·2 Batch Normalization的评估」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

正则化

检索键 dls-ES 对应目录坐标「6·4 正则化」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

过拟合

检索键 dls-ET 对应目录坐标「6·4·1 过拟合」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

权值衰减

检索键 dls-EU 对应目录坐标「6·4·2 权值衰减」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Dropout

检索键 dls-EV 对应目录坐标「6·4·3 Dropout」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

超参数的验证

检索键 dls-EW 对应目录坐标「6·5 超参数的验证」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

验证数据

检索键 dls-EX 对应目录坐标「6·5·1 验证数据」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

超参数的最优化

检索键 dls-EY 对应目录坐标「6·5·2 超参数的最优化」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

超参数最优化的实现

检索键 dls-EZ 对应目录坐标「6·5·3 超参数最优化的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于在共同基线上比较优化、初始化、归一和正则策略,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-FA 对应目录坐标「6·6 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

卷积神经网络

检索键 dls-FB 对应目录坐标「第7章 卷积神经网络」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

整体结构

检索键 dls-FC 对应目录坐标「7·1 整体结构」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

卷积层

检索键 dls-FD 对应目录坐标「7·2 卷积层」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

全连接层存在的问题

检索键 dls-FE 对应目录坐标「7·2·1 全连接层存在的问题」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

卷积运算

检索键 dls-FF 对应目录坐标「7·2·2 卷积运算」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

填充

检索键 dls-FG 对应目录坐标「7·2·3 填充」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

步幅

检索键 dls-FH 对应目录坐标「7·2·4 步幅」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

3维数据的卷积运算

检索键 dls-FI 对应目录坐标「7·2·5 3维数据的卷积运算」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

结合方块思考

检索键 dls-FJ 对应目录坐标「7·2·6 结合方块思考」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

批处理

检索键 dls-FK 对应目录坐标「7·2·7 批处理」;在“《深度学习入门》211个原版目录层级学习地图”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

池化层

检索键 dls-FL 对应目录坐标「7·3 池化层」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

池化层的特征

检索键 dls-FM 对应目录坐标「7·3·1 池化层的特征」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

卷积层和池化层的实现

检索键 dls-FN 对应目录坐标「7·4 卷积层和池化层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

4维数组

检索键 dls-FO 对应目录坐标「7·4·1 4维数组」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

基于im2col的展开

检索键 dls-FP 对应目录坐标「7·4·2 基于im2col的展开」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

卷积层的实现

检索键 dls-FQ 对应目录坐标「7·4·3 卷积层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

池化层的实现

检索键 dls-FR 对应目录坐标「7·4·4 池化层的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

CNN的实现

检索键 dls-FS 对应目录坐标「7·5 CNN的实现」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

CNN的可视化

检索键 dls-FT 对应目录坐标「7·6 CNN的可视化」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

第1层权重的可视化

检索键 dls-FU 对应目录坐标「7·6·1 第1层权重的可视化」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

基于分层结构的信息提取

检索键 dls-FV 对应目录坐标「7·6·2 基于分层结构的信息提取」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

具有代表性的CNN

检索键 dls-FW 对应目录坐标「7·7 具有代表性的CNN」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

LeNet

检索键 dls-FX 对应目录坐标「7·7·1 LeNet」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

AlexNet

检索键 dls-FY 对应目录坐标「7·7·2 AlexNet」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-FZ 对应目录坐标「7·8 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

深度学习

检索键 dls-GA 对应目录坐标「第8章 深度学习」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

加深网络

检索键 dls-GB 对应目录坐标「8·1 加深网络」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

向更深的网络出发

检索键 dls-GC 对应目录坐标「8·1·1 向更深的网络出发」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

进一步提高识别精度

检索键 dls-GD 对应目录坐标「8·1·2 进一步提高识别精度」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

加深层的动机

检索键 dls-GE 对应目录坐标「8·1·3 加深层的动机」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

深度学习的小历史

检索键 dls-GF 对应目录坐标「8·2 深度学习的小历史」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

ImageNet

检索键 dls-GG 对应目录坐标「8·2·1 ImageNet」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

VGG

检索键 dls-GH 对应目录坐标「8·2·2 VGG」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

GoogLeNet

检索键 dls-GI 对应目录坐标「8·2·3 GoogLeNet」;在“《深度学习入门》211个原版目录层级学习地图”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

ResNet

检索键 dls-GJ 对应目录坐标「8·2·4 ResNet」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

深度学习的高速化

检索键 dls-GK 对应目录坐标「8·3 深度学习的高速化」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

需要努力解决的问题

检索键 dls-GL 对应目录坐标「8·3·1 需要努力解决的问题」;在“《深度学习入门》211个原版目录层级学习地图”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

基于GPU的高速化

检索键 dls-GM 对应目录坐标「8·3·2 基于GPU的高速化」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

分布式学习

检索键 dls-GN 对应目录坐标「8·3·3 分布式学习」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

运算精度的位数缩减

检索键 dls-GO 对应目录坐标「8·3·4 运算精度的位数缩减」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

深度学习的应用案例

检索键 dls-GP 对应目录坐标「8·4 深度学习的应用案例」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

物体检测

检索键 dls-GQ 对应目录坐标「8·4·1 物体检测」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

图像分割

检索键 dls-GR 对应目录坐标「8·4·2 图像分割」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

图像标题的生成

检索键 dls-GS 对应目录坐标「8·4·3 图像标题的生成」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

深度学习的未来

检索键 dls-GT 对应目录坐标「8·5 深度学习的未来」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

图像风格变换

检索键 dls-GU 对应目录坐标「8·5·1 图像风格变换」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

图像的生成

检索键 dls-GV 对应目录坐标「8·5·2 图像的生成」;在“《深度学习入门》211个原版目录层级学习地图”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

自动驾驶

检索键 dls-GW 对应目录坐标「8·5·3 自动驾驶」;在“《深度学习入门》211个原版目录层级学习地图”中用于按2016年时间坐标解释架构、算力、应用和展望,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Deep Q-Network(强化学习)

检索键 dls-GX 对应目录坐标「8·5·4 Deep Q-Network(强化学习)」;在“《深度学习入门》211个原版目录层级学习地图”中用于以损失、数值微分和更新构造可检查训练循环,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

小结

检索键 dls-GY 对应目录坐标「8·6 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

Softmax-with-Loss层的计算图

检索键 dls-GZ 对应目录坐标「附录A Softmax-with-Loss层的计算图」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

A.1 正向传播

检索键 dls-HA 对应目录坐标「A·1 正向传播」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

A.2 反向传播

检索键 dls-HB 对应目录坐标「A·2 反向传播」;在“《深度学习入门》211个原版目录层级学习地图”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

A.3 小结

检索键 dls-HC 对应目录坐标「A·3 小结」;在“《深度学习入门》211个原版目录层级学习地图”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。

资料与写作方式声明

本章以斋藤康毅著《ゼロから作るDeep Learning》权威目录界定学习范围,并结合正文列出的技术资料独立重写;不宣称复现原书正文,也不沿用原作表述。

原作版权归作者与出版社所有;本站原创教学结构与表述仅供学习交流。

讨论

评论区加载中…