第1章 绪论

为什么沿原书证据链学习

、、、、、共同构成本页坐标。从机器学习任务合同进入深层表示学习，解释数据、算力、非线性层级与端到端训练为何共同促成深度学习复兴。

山下隆义从可训练神经网络出发，依次讨论卷积结构、受限玻尔兹曼机、自编码器、泛化方法、工具和应用。这个顺序连接了判别式前向与反向传播、概率生成模型的能量与采样、受约束重构表示以及运行环境。重建时保留2016年原书边界，后来的架构只作为明确标注的补充，不替换原章。

实验统一冻结样本标识、数据折分、预处理统计、参数初始化、随机种子、浮点精度和依赖版本。训练阶段保存每层张量、目标函数分解、梯度或采样统计、更新前后参数；模型选择阶段保存每个候选的训练与验证轨迹；测试集直到选择完成后才打开。这样可区分模型机制、优化误差、采样偏差和数据抽样误差。

阅读每个主题都先预测第一处可观察变化，再运行最小样本。若预期变化发生在前向张量，就不应等到最终准确率才调试；若机制只改变正则或采样，则保持基础网络和数据不变。任何修复都从原始输入重放，不能继续使用已被错误状态污染的缓存、梯度或检查点。

数学骨架与可核查量

一层神经网络先计算仿射变换和非线性：

$$z^{(\ell)}=W^{(\ell)}h^{(\ell-1)}+b^{(\ell)},\qquad h^{(\ell)}=\phi\!\left(z^{(\ell)}\right).$$

训练目标在冻结样本上汇总任务损失与可选约束：

$$\mathcal{J}(\theta)=\frac{1}{n}\sum_{i=1}^{n}\ell\!\left(y_i,f_\theta(x_i)\right)+\lambda\,\Omega(\theta).$$

参数更新必须使用与该目标一致的梯度或近似统计量：

$$\theta_{t+1}=\theta_t-\eta_t\,\widehat{\nabla_\theta\mathcal{J}}(\theta_t).$$

本页的专属可核查关系为：

$$h^{(\ell)}=\phi\!\left(W^{(\ell)}h^{(\ell-1)}+b^{(\ell)}\right).$$

层级变换把上一层表示送入仿射映射和非线性函数；每层张量形状、数值范围与梯度都应可追踪。 实现至少检查形状、有限值、归一化或守恒关系、局部数值容差和更新方向。

机制辨析

1. 深度学习属于机器学习，但把特征表示和预测器放入同一可微系统联合学习，减少人工特征与任务目标之间的错位。
2. 早期神经网络经历感知器限制、反向传播复兴和训练困难，随后大数据、并行计算与更稳定的非线性技术共同改变可行性。
3. 深层结构通过多级组合表示复杂函数，低层捕捉局部模式，高层形成任务相关抽象，但表达能力同时提高过拟合与调试成本。
4. 判定一个方法是否属于深度学习不能只数层数，还要检查表示是否分层、参数是否由数据训练以及目标如何传到各层。
5. 全书路线从神经网络和卷积网络进入概率生成结构、泛化方法、工具环境与应用展望，技术边界以2016年原版为准。

历史叙述要与实验合同连接。复现早期感知器、多层感知器和卷积网络时，应保持任务、样本和评价损失一致，记录真正改变的是模型族、训练算法、数据规模还是计算预算。若现代模型只因使用更多标签或更长训练而胜出，不能把收益归因于深度。最小实验可在同一分类数据上比较固定特征线性模型、一层隐藏网络和多层网络，同时报告参数量、训练风险、验证风险与运行成本。只有多层模型在独立验证中稳定改善，并且消融某层会破坏预期表示，才形成层级表示有效的证据。

同一最终分数可能来自不同机制，因此必须保留结构化中间量。前向实现检查张量尺寸与范围，反向实现检查数值梯度，能量模型检查概率归一与链统计，自编码器检查约束是否阻止复制，泛化方法检查训练和推理模式，工具复现检查跨框架张量容差。首错不通过时，下游结论全部作废。

权威目录逐项讲解

第1章 绪论

深度学习属于机器学习，但把特征表示和预测器放入同一可微系统联合学习，减少人工特征与任务目标之间的错位。

验证“第1章 绪论”时，在“冻结样本与环境”冻结输入、张量形状与随机状态，再进入“计算前向状态”只改变一个条件。保存前向状态、目标分解、梯度或采样统计、更新前后参数和独立验证风险；若最终分数改善但首个中间量没有按机制变化，先排查数据泄漏、索引约定和数值误差。

通过标准包含定义、方程、最小算法和反例四层：能说明该主题解决什么问题，手算或枚举关键量，复现一个确定性最小实验，并构造破坏前提的失败样本。修复后清空派生缓存，从冻结原始样本完整重放。

1.1 深度学习与机器学习

早期神经网络经历感知器限制、反向传播复兴和训练困难，随后大数据、并行计算与更稳定的非线性技术共同改变可行性。

验证“1.1 深度学习与机器学习”时，在“计算前向状态”冻结输入、张量形状与随机状态，再进入“计算目标与梯度”只改变一个条件。保存前向状态、目标分解、梯度或采样统计、更新前后参数和独立验证风险；若最终分数改善但首个中间量没有按机制变化，先排查数据泄漏、索引约定和数值误差。

通过标准包含定义、方程、最小算法和反例四层：能说明该主题解决什么问题，手算或枚举关键量，复现一个确定性最小实验，并构造破坏前提的失败样本。修复后清空派生缓存，从冻结原始样本完整重放。

1.2 深度学习的发展历程

深层结构通过多级组合表示复杂函数，低层捕捉局部模式，高层形成任务相关抽象，但表达能力同时提高过拟合与调试成本。

验证“1.2 深度学习的发展历程”时，在“计算目标与梯度”冻结输入、张量形状与随机状态，再进入“更新参数或状态”只改变一个条件。保存前向状态、目标分解、梯度或采样统计、更新前后参数和独立验证风险；若最终分数改善但首个中间量没有按机制变化，先排查数据泄漏、索引约定和数值误差。

通过标准包含定义、方程、最小算法和反例四层：能说明该主题解决什么问题，手算或枚举关键量，复现一个确定性最小实验，并构造破坏前提的失败样本。修复后清空派生缓存，从冻结原始样本完整重放。

1.3 为什么是深度学习

判定一个方法是否属于深度学习不能只数层数，还要检查表示是否分层、参数是否由数据训练以及目标如何传到各层。

验证“1.3 为什么是深度学习”时，在“更新参数或状态”冻结输入、张量形状与随机状态，再进入“独立验证”只改变一个条件。保存前向状态、目标分解、梯度或采样统计、更新前后参数和独立验证风险；若最终分数改善但首个中间量没有按机制变化，先排查数据泄漏、索引约定和数值误差。

通过标准包含定义、方程、最小算法和反例四层：能说明该主题解决什么问题，手算或枚举关键量，复现一个确定性最小实验，并构造破坏前提的失败样本。修复后清空派生缓存，从冻结原始样本完整重放。

1.4 什么是深度学习

全书路线从神经网络和卷积网络进入概率生成结构、泛化方法、工具环境与应用展望，技术边界以2016年原版为准。

验证“1.4 什么是深度学习”时，在“独立验证”冻结输入、张量形状与随机状态，再进入“定位首个分叉”只改变一个条件。保存前向状态、目标分解、梯度或采样统计、更新前后参数和独立验证风险；若最终分数改善但首个中间量没有按机制变化，先排查数据泄漏、索引约定和数值误差。

通过标准包含定义、方程、最小算法和反例四层：能说明该主题解决什么问题，手算或枚举关键量，复现一个确定性最小实验，并构造破坏前提的失败样本。修复后清空派生缓存，从冻结原始样本完整重放。

1.5 本书结构

深度学习属于机器学习，但把特征表示和预测器放入同一可微系统联合学习，减少人工特征与任务目标之间的错位。

验证“1.5 本书结构”时，在“定位首个分叉”冻结输入、张量形状与随机状态，再进入“冻结样本与环境”只改变一个条件。保存前向状态、目标分解、梯度或采样统计、更新前后参数和独立验证风险；若最终分数改善但首个中间量没有按机制变化，先排查数据泄漏、索引约定和数值误差。

通过标准包含定义、方程、最小算法和反例四层：能说明该主题解决什么问题，手算或枚举关键量，复现一个确定性最小实验，并构造破坏前提的失败样本。修复后清空派生缓存，从冻结原始样本完整重放。

常见失败与边界

本章回顾

从机器学习任务合同进入深层表示学习，解释数据、算力、非线性层级与端到端训练为何共同促成深度学习复兴。 验收时必须从冻结样本预测中间状态、训练信号和更新结果，解释结构或数据条件为何改变解，并在失败样本中找到第一处违背假设的位置。最终结论要求：深度学习优势必须由明确任务、冻结数据折分和独立风险证明；层数、参数量或历史声誉都不能代替受控基线。