第6章深度前馈网络

从XOR、隐藏单元与架构设计推导前馈网络和反向传播计算图；用依赖地图、计算轨迹和独立证据门交付前向张量表、局部导数与梯度有限差分报告

学习目标

能说明“第6章深度前馈网络”如何从XOR、隐藏单元与架构设计推导前馈网络和反向传播计算图，并区分原版、中文目录、开放访问许可和当前独立重写
能先预测“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”会改变哪个输入、shape、状态、目标、梯度、估计或评估结果，再操作三类证据视图
能只注入“广播产生合法shape却让偏置梯度沿错误维度累加”，定位首个偏离“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”的状态，并从同一快照完成恢复

为什么从这个问题开始

“第6章深度前馈网络”围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”建立贯穿任务：训练一个可手算小批次的多层感知机。先写下哪个输入、shape、状态、目标、梯度、估计或评估会先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有“第6章深度前馈网络”守住“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”并交付前向张量表、局部导数与梯度有限差分报告，最终分数、似然、重构、样本或部署结果才构成机制证据。

书目、353个正式坐标与许可边界

“第6章深度前馈网络”以MIT Press书目页核对Ian Goodfellow、Yoshua Bengio、Aaron Courville著 Deep Learning：精装ISBN 9780262035613，2016年11月18日出版，800页；MIT Press同时把作者托管版列为开放访问资源，并标注CC BY-NC-ND 4.0。开放阅读不等于允许演绎，“第6章深度前馈网络”不复制、翻译或改写受保护正文，只把原版公开目录与可定位章节用作范围和事实核对。

“第6章深度前馈网络”以作者官方目录核对3个部分、20章和164个一级节，再以人民邮电出版社官方中文书页核对166个二级节、中文书名、ISBN 9787115461476和2017年8月出版信息；合计353个正式目录坐标。出版社页面中“有效有效”、缺空格等排版噪声已按英文原版标题规范化，但没有新增原版不存在的章节。

“第6章深度前馈网络”的中文讲解、状态图、数值实验、练习与答案均为独立教学重写；2016年以后出现的框架行为或研究进展必须带当前时间标签，不能倒填为原书原话。章专属核对 1、章专属核对 2只用于核对本页算法、API或实验边界，不能反向证明原书采用本站表述。

原版目录层级与可验证机制

第2部分深度网络：现代实践

正式坐标 1/25。 目录原文键 第2部分深度网络：现代实践。在“第6章深度前馈网络”的第1个坐标中，「第2部分深度网络：现代实践」通过把“深度网络：现代实践”放进计算图、激活与反向传播的章专属计算链推进计算图、激活与反向传播；复核者保存第6章深度前馈网络的输入、状态变化、输出、反例与边界，一旦出现只复述“深度网络：现代实践”名称而没有可观察状态和独立证据就撤回结论。

第6章深度前馈网络

正式坐标 2/25。 目录原文键 第6章深度前馈网络。围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”，“第6章深度前馈网络”在坐标2把「第6章深度前馈网络」落实为把前向状态、局部导数和反向梯度连接为计算图；只有张量shape、节点值、局部导数、梯度与有限差分可复算且反例排除广播或缩放错误让梯度数值存在但语义不正确，本节点才算掌握。

6·1 示例：学习XOR

正式坐标 3/25。 目录原文键 6.1 示例：学习XOR。“第6章深度前馈网络”的原版节点3「6·1 示例：学习XOR」不能停在名词解释：它要把前向状态、局部导数和反向梯度连接为计算图，交付张量shape、节点值、局部导数、梯度与有限差分，并用广播或缩放错误让梯度数值存在但语义不正确作为单一反事实检查。

6·2 基于梯度的学习

正式坐标 4/25。 目录原文键 6.2 基于梯度的学习。对“第6章深度前馈网络”而言，「6·2 基于梯度的学习」在第4次检查中改变可观察状态，因为它负责跟踪浮点、梯度、曲率、状态缓冲和参数更新；dtype、条件数、梯度核对、步长、更新差与停止理由必须与“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”对齐，不能接受只看目标下降而忽略数值不稳、状态错位或泛化失败。

6·2·1 代价函数

正式坐标 5/25。 目录原文键 6.2.1 代价函数。目录原文「6·2·1 代价函数」进入“第6章深度前馈网络”后形成第5个实验合同：先把前向状态、局部导数和反向梯度连接为计算图，再保存张量shape、节点值、局部导数、梯度与有限差分；若发生广播或缩放错误让梯度数值存在但语义不正确，从同一输入快照恢复。

6·2·2 输出单元

正式坐标 6/25。 目录原文键 6.2.2 输出单元。在“第6章深度前馈网络”的第6个坐标中，「6·2·2 输出单元」通过把前向状态、局部导数和反向梯度连接为计算图推进计算图、激活与反向传播；复核者保存张量shape、节点值、局部导数、梯度与有限差分，一旦出现广播或缩放错误让梯度数值存在但语义不正确就撤回结论。

6·3 隐藏单元

正式坐标 7/25。 目录原文键 6.3 隐藏单元。围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”，“第6章深度前馈网络”在坐标7把「6·3 隐藏单元」落实为把前向状态、局部导数和反向梯度连接为计算图；只有张量shape、节点值、局部导数、梯度与有限差分可复算且反例排除广播或缩放错误让梯度数值存在但语义不正确，本节点才算掌握。

6·3·1 整流线性单元及其扩展

正式坐标 8/25。 目录原文键 6.3.1 整流线性单元及其扩展。“第6章深度前馈网络”的原版节点8「6·3·1 整流线性单元及其扩展」不能停在名词解释：它要把“整流线性单元及其扩展”放进计算图、激活与反向传播的章专属计算链，交付第6章深度前馈网络的输入、状态变化、输出、反例与边界，并用只复述“整流线性单元及其扩展”名称而没有可观察状态和独立证据作为单一反事实检查。

6·3·2 logistic sigmoid与双曲正切函数

正式坐标 9/25。 目录原文键 6.3.2 logistic sigmoid与双曲正切函数。对“第6章深度前馈网络”而言，「6·3·2 logistic sigmoid与双曲正切函数」在第9次检查中改变可观察状态，因为它负责把“logistic sigmoid与双曲正切函数”放进计算图、激活与反向传播的章专属计算链；第6章深度前馈网络的输入、状态变化、输出、反例与边界必须与“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”对齐，不能接受只复述“logistic sigmoid与双曲正切函数”名称而没有可观察状态和独立证据。

6·3·3 其他隐藏单元

正式坐标 10/25。 目录原文键 6.3.3 其他隐藏单元。目录原文「6·3·3 其他隐藏单元」进入“第6章深度前馈网络”后形成第10个实验合同：先把前向状态、局部导数和反向梯度连接为计算图，再保存张量shape、节点值、局部导数、梯度与有限差分；若发生广播或缩放错误让梯度数值存在但语义不正确，从同一输入快照恢复。

6·4 架构设计

正式坐标 11/25。 目录原文键 6.4 架构设计。在“第6章深度前馈网络”的第11个坐标中，「6·4 架构设计」通过把“架构设计”放进计算图、激活与反向传播的章专属计算链推进计算图、激活与反向传播；复核者保存第6章深度前馈网络的输入、状态变化、输出、反例与边界，一旦出现只复述“架构设计”名称而没有可观察状态和独立证据就撤回结论。

6·4·1 万能近似性质和深度

正式坐标 12/25。 目录原文键 6.4.1 万能近似性质和深度。围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”，“第6章深度前馈网络”在坐标12把「6·4·1 万能近似性质和深度」落实为把“万能近似性质和深度”放进计算图、激活与反向传播的章专属计算链；只有第6章深度前馈网络的输入、状态变化、输出、反例与边界可复算且反例排除只复述“万能近似性质和深度”名称而没有可观察状态和独立证据，本节点才算掌握。

6·4·2 其他架构上的考虑

正式坐标 13/25。 目录原文键 6.4.2 其他架构上的考虑。“第6章深度前馈网络”的原版节点13「6·4·2 其他架构上的考虑」不能停在名词解释：它要把“其他架构上的考虑”放进计算图、激活与反向传播的章专属计算链，交付第6章深度前馈网络的输入、状态变化、输出、反例与边界，并用只复述“其他架构上的考虑”名称而没有可观察状态和独立证据作为单一反事实检查。

6·5 反向传播和其他微分算法

正式坐标 14/25。 目录原文键 6.5 反向传播和其他微分算法。对“第6章深度前馈网络”而言，「6·5 反向传播和其他微分算法」在第14次检查中改变可观察状态，因为它负责把前向状态、局部导数和反向梯度连接为计算图；张量shape、节点值、局部导数、梯度与有限差分必须与“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”对齐，不能接受广播或缩放错误让梯度数值存在但语义不正确。

6·5·1 计算图

正式坐标 15/25。 目录原文键 6.5.1 计算图。目录原文「6·5·1 计算图」进入“第6章深度前馈网络”后形成第15个实验合同：先把前向状态、局部导数和反向梯度连接为计算图，再保存张量shape、节点值、局部导数、梯度与有限差分；若发生广播或缩放错误让梯度数值存在但语义不正确，从同一输入快照恢复。

6·5·2 微积分中的链式法则

正式坐标 16/25。 目录原文键 6.5.2 微积分中的链式法则。在“第6章深度前馈网络”的第16个坐标中，「6·5·2 微积分中的链式法则」通过把前向状态、局部导数和反向梯度连接为计算图推进计算图、激活与反向传播；复核者保存张量shape、节点值、局部导数、梯度与有限差分，一旦出现广播或缩放错误让梯度数值存在但语义不正确就撤回结论。

6·5·3 递归地使用链式法则来实现反向传播

正式坐标 17/25。 目录原文键 6.5.3 递归地使用链式法则来实现反向传播。围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”，“第6章深度前馈网络”在坐标17把「6·5·3 递归地使用链式法则来实现反向传播」落实为把前向状态、局部导数和反向梯度连接为计算图；只有张量shape、节点值、局部导数、梯度与有限差分可复算且反例排除广播或缩放错误让梯度数值存在但语义不正确，本节点才算掌握。

6·5·4 全连接MLP中的反向传播计算

正式坐标 18/25。 目录原文键 6.5.4 全连接MLP中的反向传播计算。“第6章深度前馈网络”的原版节点18「6·5·4 全连接MLP中的反向传播计算」不能停在名词解释：它要把前向状态、局部导数和反向梯度连接为计算图，交付张量shape、节点值、局部导数、梯度与有限差分，并用广播或缩放错误让梯度数值存在但语义不正确作为单一反事实检查。

6·5·5 符号到符号的导数

正式坐标 19/25。 目录原文键 6.5.5 符号到符号的导数。对“第6章深度前馈网络”而言，「6·5·5 符号到符号的导数」在第19次检查中改变可观察状态，因为它负责把“符号到符号的导数”放进计算图、激活与反向传播的章专属计算链；第6章深度前馈网络的输入、状态变化、输出、反例与边界必须与“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”对齐，不能接受只复述“符号到符号的导数”名称而没有可观察状态和独立证据。

6·5·6 一般化的反向传播

正式坐标 20/25。 目录原文键 6.5.6 一般化的反向传播。目录原文「6·5·6 一般化的反向传播」进入“第6章深度前馈网络”后形成第20个实验合同：先把前向状态、局部导数和反向梯度连接为计算图，再保存张量shape、节点值、局部导数、梯度与有限差分；若发生广播或缩放错误让梯度数值存在但语义不正确，从同一输入快照恢复。

6·5·7 实例：用于MLP训练的反向传播

正式坐标 21/25。 目录原文键 6.5.7 实例：用于MLP训练的反向传播。在“第6章深度前馈网络”的第21个坐标中，「6·5·7 实例：用于MLP训练的反向传播」通过把前向状态、局部导数和反向梯度连接为计算图推进计算图、激活与反向传播；复核者保存张量shape、节点值、局部导数、梯度与有限差分，一旦出现广播或缩放错误让梯度数值存在但语义不正确就撤回结论。

6·5·8 复杂化

正式坐标 22/25。 目录原文键 6.5.8 复杂化。围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”，“第6章深度前馈网络”在坐标22把「6·5·8 复杂化」落实为把“复杂化”放进计算图、激活与反向传播的章专属计算链；只有第6章深度前馈网络的输入、状态变化、输出、反例与边界可复算且反例排除只复述“复杂化”名称而没有可观察状态和独立证据，本节点才算掌握。

6·5·9 深度学习界以外的微分

正式坐标 23/25。 目录原文键 6.5.9 深度学习界以外的微分。“第6章深度前馈网络”的原版节点23「6·5·9 深度学习界以外的微分」不能停在名词解释：它要把前向状态、局部导数和反向梯度连接为计算图，交付张量shape、节点值、局部导数、梯度与有限差分，并用广播或缩放错误让梯度数值存在但语义不正确作为单一反事实检查。

6·5·10 高阶微分

正式坐标 24/25。 目录原文键 6.5.10 高阶微分。对“第6章深度前馈网络”而言，「6·5·10 高阶微分」在第24次检查中改变可观察状态，因为它负责把前向状态、局部导数和反向梯度连接为计算图；张量shape、节点值、局部导数、梯度与有限差分必须与“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”对齐，不能接受广播或缩放错误让梯度数值存在但语义不正确。

6·6 历史小记

正式坐标 25/25。 目录原文键 6.6 历史小记。目录原文「6·6 历史小记」进入“第6章深度前馈网络”后形成第25个实验合同：先界定读者、时间、章节依赖和原版范围，再保存版次、年份、部分—章节坐标与不适用边界；若发生把现代热点或事后结果倒填为2016年原书结论，从同一输入快照恢复。

先预测，再操作三个章专属实验

分步1 / 3

1. 原版坐标、依赖与状态

为“第6章深度前馈网络”选择一个正式目录坐标，在参考合同与单一反例间切换，逐阶段核对输入、操作、输出和检查条件。

依赖与状态地图

第6章深度前馈网络

选择原版坐标，再比较参考合同与单一反例怎样改变同一条计算链。

原版目录坐标

第6章深度前馈网络 · 输入与角色

输入: 训练一个可手算小批次的多层感知机
操作与输出: 冻结计算图、激活与反向传播所需的数据角色、版本和shape → 第6章深度前馈网络的输入合同与基线快照

第6章深度前馈网络 · 计算与状态

输入: 第6章深度前馈网络的输入合同
操作与输出: 执行从XOR、隐藏单元与架构设计推导前馈网络和反向传播计算图的最小计算并保存中间状态 → 第6章深度前馈网络的参考轨迹与单故障轨迹

第6章深度前馈网络 · 目标与更新

输入: 第6章深度前馈网络的中间状态和目标口径
操作与输出: 比较目标分量、梯度、估计或选择决定 → 第6章深度前馈网络的更新前后差异与首个分岔

第6章深度前馈网络 · 独立评估

输入: 第6章深度前馈网络的冻结候选与未见数据或独立诊断
操作与输出: 重放预测、反例、恢复和边界检查 → 第6章深度前馈网络的接受、回退或拒绝理由

第6章深度前馈网络的可重放协议

阶段	允许动作	必留证据	拒绝条件
第6章深度前馈网络 · 输入与角色	冻结计算图、激活与反向传播所需的数据角色、版本和shape	第6章深度前馈网络的输入合同与基线快照	未满足“第6章深度前馈网络的来源、角色、单位、shape和可见性没有越界”
第6章深度前馈网络 · 计算与状态	执行从XOR、隐藏单元与架构设计推导前馈网络和反向传播计算图的最小计算并保存中间状态	第6章深度前馈网络的参考轨迹与单故障轨迹	未满足“第6章深度前馈网络每一步状态变化都能由输入、公式或算法操作复算”
第6章深度前馈网络 · 目标与更新	比较目标分量、梯度、估计或选择决定	第6章深度前馈网络的更新前后差异与首个分岔	未满足“第6章深度前馈网络没有把代理目标、训练分数或偶然样本当作最终结论”
第6章深度前馈网络 · 独立评估	重放预测、反例、恢复和边界检查	第6章深度前馈网络的接受、回退或拒绝理由	未满足“第6章深度前馈网络满足“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致””

unit: "dlt-06"
question: "怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？"
scenario: "训练一个可手算小批次的多层感知机"
invariant: "激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致"
fault: "广播产生合法shape却让偏置梯度沿错误维度累加"
evidence: "前向张量表、局部导数与梯度有限差分报告"
reset: restore_concept_mode_trace_step_case_gates_and_artifact

“第6章深度前馈网络”要求从同一输入、版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、模式、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。

本页回顾

掌握“第6章深度前馈网络”不是背诵术语或抄公式，而是能围绕“怎样逐节点验证前向shape、局部导数和反向梯度共同实现目标更新？”重建输入、shape、计算、目标、更新、随机性与独立评估，并用“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”拒绝“广播产生合法shape却让偏置梯度沿错误维度累加”。最终交付为前向张量表、局部导数与梯度有限差分报告

练习与答案

练习

问题 1：实验合同。 “第6章深度前馈网络”为什么必须先冻结输入、版本、shape、目标、预算、随机性和评估口径？

问题 2：目录逐项覆盖。 怎样证明“第6章深度前馈网络”的正式目录坐标已经进入机制、交互和练习？

“第6章深度前馈网络”的目录项「第2部分深度网络：现代实践」：以“把“深度网络：现代实践”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 2. “第6章深度前馈网络”的目录项「第6章深度前馈网络」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·1 示例：学习XOR」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·2 基于梯度的学习」：以“跟踪浮点、梯度、曲率、状态缓冲和参数更新”解释作用，用“dtype、条件数、梯度核对、步长、更新差与停止理由”提供复核。
“第6章深度前馈网络”的目录项「6·2·1 代价函数」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·2·2 输出单元」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·3 隐藏单元」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·3·1 整流线性单元及其扩展」：以“把“整流线性单元及其扩展”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 9. “第6章深度前馈网络”的目录项「6·3·2 logistic sigmoid与双曲正切函数」：以“把“logistic sigmoid与双曲正切函数”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 10. “第6章深度前馈网络”的目录项「6·3·3 其他隐藏单元」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·4 架构设计」：以“把“架构设计”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 12. “第6章深度前馈网络”的目录项「6·4·1 万能近似性质和深度」：以“把“万能近似性质和深度”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 13. “第6章深度前馈网络”的目录项「6·4·2 其他架构上的考虑」：以“把“其他架构上的考虑”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 14. “第6章深度前馈网络”的目录项「6·5 反向传播和其他微分算法」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·1 计算图」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·2 微积分中的链式法则」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·3 递归地使用链式法则来实现反向传播」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·4 全连接MLP中的反向传播计算」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·5 符号到符号的导数」：以“把“符号到符号的导数”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 20. “第6章深度前馈网络”的目录项「6·5·6 一般化的反向传播」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·7 实例：用于MLP训练的反向传播」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·8 复杂化」：以“把“复杂化”放进计算图、激活与反向传播的章专属计算链”解释作用，用“第6章深度前馈网络的输入、状态变化、输出、反例与边界”提供复核。 23. “第6章深度前馈网络”的目录项「6·5·9 深度学习界以外的微分」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·5·10 高阶微分」：以“把前向状态、局部导数和反向梯度连接为计算图”解释作用，用“张量shape、节点值、局部导数、梯度与有限差分”提供复核。
“第6章深度前馈网络”的目录项「6·6 历史小记」：以“界定读者、时间、章节依赖和原版范围”解释作用，用“版次、年份、部分—章节坐标与不适用边界”提供复核。

问题 3：故障恢复。 怎样证明“广播产生合法shape却让偏置梯度沿错误维度累加”已经被修正？

为“第6章深度前馈网络”复用同一输入、版本、预算和随机序列，重放参考路径后只注入“广播产生合法shape却让偏置梯度沿错误维度累加”；记录首个偏离，撤销故障再运行。只有依赖地图、计算轨迹、证据门和前向张量表、局部导数与梯度有限差分报告重新满足“激活、损失、计算图、参数shape、梯度缩放和更新顺序必须一致”，修正才可提交。

小结

前馈网络是函数逼近器
隐藏单元引入非线性
反向传播高效求梯度
架构设计影响表达力
通用近似定理是理论基础

名词解释

本章出现的专业名词，用大白话再讲一遍。

深度网络: 检索键 dlt-A 对应目录坐标「第2部分深度网络：现代实践」；在“第6章深度前馈网络”中用于把“深度网络：现代实践”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
深度前馈网络: 检索键 dlt-B 对应目录坐标「第6章深度前馈网络」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
示例: 检索键 dlt-C 对应目录坐标「6·1 示例：学习XOR」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
基于梯度的学习: 检索键 dlt-D 对应目录坐标「6·2 基于梯度的学习」；在“第6章深度前馈网络”中用于跟踪浮点、梯度、曲率、状态缓冲和参数更新，需要连接原版范围、计算状态、独立证据和不适用边界。
代价函数: 检索键 dlt-E 对应目录坐标「6·2·1 代价函数」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
输出单元: 检索键 dlt-F 对应目录坐标「6·2·2 输出单元」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
隐藏单元: 检索键 dlt-G 对应目录坐标「6·3 隐藏单元」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
整流线性单元及其扩展: 检索键 dlt-H 对应目录坐标「6·3·1 整流线性单元及其扩展」；在“第6章深度前馈网络”中用于把“整流线性单元及其扩展”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
logistic sigmoid与双曲正切函数: 检索键 dlt-I 对应目录坐标「6·3·2 logistic sigmoid与双曲正切函数」；在“第6章深度前馈网络”中用于把“logistic sigmoid与双曲正切函数”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
其他隐藏单元: 检索键 dlt-J 对应目录坐标「6·3·3 其他隐藏单元」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
架构设计: 检索键 dlt-K 对应目录坐标「6·4 架构设计」；在“第6章深度前馈网络”中用于把“架构设计”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
万能近似性质和深度: 检索键 dlt-L 对应目录坐标「6·4·1 万能近似性质和深度」；在“第6章深度前馈网络”中用于把“万能近似性质和深度”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
其他架构上的考虑: 检索键 dlt-M 对应目录坐标「6·4·2 其他架构上的考虑」；在“第6章深度前馈网络”中用于把“其他架构上的考虑”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
反向传播和其他微分算法: 检索键 dlt-N 对应目录坐标「6·5 反向传播和其他微分算法」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
计算图: 检索键 dlt-O 对应目录坐标「6·5·1 计算图」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
微积分中的链式法则: 检索键 dlt-P 对应目录坐标「6·5·2 微积分中的链式法则」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
递归地使用链式法则来实现反向传播: 检索键 dlt-Q 对应目录坐标「6·5·3 递归地使用链式法则来实现反向传播」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
全连接MLP中的反向传播计算: 检索键 dlt-R 对应目录坐标「6·5·4 全连接MLP中的反向传播计算」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
符号到符号的导数: 检索键 dlt-S 对应目录坐标「6·5·5 符号到符号的导数」；在“第6章深度前馈网络”中用于把“符号到符号的导数”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
一般化的反向传播: 检索键 dlt-T 对应目录坐标「6·5·6 一般化的反向传播」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
实例: 检索键 dlt-U 对应目录坐标「6·5·7 实例：用于MLP训练的反向传播」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
复杂化: 检索键 dlt-V 对应目录坐标「6·5·8 复杂化」；在“第6章深度前馈网络”中用于把“复杂化”放进计算图、激活与反向传播的章专属计算链，需要连接原版范围、计算状态、独立证据和不适用边界。
深度学习界以外的微分: 检索键 dlt-W 对应目录坐标「6·5·9 深度学习界以外的微分」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
高阶微分: 检索键 dlt-X 对应目录坐标「6·5·10 高阶微分」；在“第6章深度前馈网络”中用于把前向状态、局部导数和反向梯度连接为计算图，需要连接原版范围、计算状态、独立证据和不适用边界。
历史小记: 检索键 dlt-Y 对应目录坐标「6·6 历史小记」；在“第6章深度前馈网络”中用于界定读者、时间、章节依赖和原版范围，需要连接原版范围、计算状态、独立证据和不适用边界。

第6章 深度前馈网络

学习目标

为什么从这个问题开始

书目、353个正式坐标与许可边界

原版目录层级与可验证机制

第2部分 深度网络：现代实践

第6章 深度前馈网络

6·1 示例：学习XOR

6·2 基于梯度的学习

6·2·1 代价函数

6·2·2 输出单元

6·3 隐藏单元

6·3·1 整流线性单元及其扩展

6·3·2 logistic sigmoid与双曲正切函数

6·3·3 其他隐藏单元

6·4 架构设计

6·4·1 万能近似性质和深度

6·4·2 其他架构上的考虑

6·5 反向传播和其他微分算法

6·5·1 计算图

6·5·2 微积分中的链式法则

6·5·3 递归地使用链式法则来实现反向传播

6·5·4 全连接MLP中的反向传播计算

6·5·5 符号到符号的导数

6·5·6 一般化的反向传播

6·5·7 实例：用于MLP训练的反向传播

6·5·8 复杂化

6·5·9 深度学习界以外的微分

6·5·10 高阶微分

6·6 历史小记

先预测，再操作三个章专属实验

1. 原版坐标、依赖与状态

第6章 深度前馈网络

第6章 深度前馈网络 · 输入与角色

第6章 深度前馈网络 · 计算与状态

第6章 深度前馈网络 · 目标与更新

第6章 深度前馈网络 · 独立评估

第6章 深度前馈网络的可重放协议

本页回顾

练习与答案

练习

小结

名词解释

名词解释

讨论

第6章深度前馈网络

第2部分深度网络：现代实践

第6章深度前馈网络

第6章深度前馈网络

第6章深度前馈网络 · 输入与角色

第6章深度前馈网络 · 计算与状态

第6章深度前馈网络 · 目标与更新

第6章深度前馈网络 · 独立评估

第6章深度前馈网络的可重放协议