第7章 卷积神经网络
覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet;用张量路径、单故障梯度轨迹和训练验收门完成独立复核。
学习目标
- 能说明“第7章 卷积神经网络”如何覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet,并区分2016年原版、2018年中文译本与当前扩展
- 能先预测“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”会改变哪个数组、缓存、梯度或训练状态,再用shape与数值断言逐步复核
- 能注入“输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位”,用“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”决定接受、降级或拒绝实现结论
为什么从这个实现问题开始
CNN页让空间几何、内存重排和网络语义在同一形状账本中对齐。 “第7章 卷积神经网络”的贯穿任务是:对小型多通道图像手算卷积,再实现im2col CNN并可视化第一层滤波器。 动手前先写下哪个输入、shape、缓存、梯度、参数或指标会变化;运行后补理由不算预测。
围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”建立参考、故障与恢复路径。只有它守住“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”并交付NCHW与核shape、输出公式、窗口索引、im2col矩阵、卷积/池化输出、反向col2im、直接实现差值和滤波器图。,代码、图形或指标才构成从零实现证据。
书目、211个原版层级与版本边界
“第7章 卷积神经网络”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning》于2016年9月24日出版、320页、ISBN 9784873117584,并以出版社完整目录逐项统计8个章标题、202个编号节/小节与附录A,共211个正式目录层级。出版社官方代码仓库提供可运行示例,官方勘误用于识别已知错误。
本项目没有取得原书完整正文授权,只以官方完整目录、示例代码和勘误限定范围;中文解释、代码实验、交互、练习与答案均为独立教学重写。O’Reilly中文在线书目只用于核对陆宇杰译、人民邮电出版社2018年7月、ISBN 9787115485588和中文目录,不用来证明日文原版正文。“第7章 卷积神经网络”以2016年日文原版与2018年中文译本目录为内容边界;当前Python/NumPy兼容修正、自动微分框架和后续架构只作带时间标签的独立核验。
本页另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或数值诊断。外部资料能验证技术事实,不能反向证明原书采用了本站表述。
原版目录层级与实现机制
第7章 卷积神经网络
↡卷积神经网络对应原版目录坐标“第7章 卷积神经网络”,在“第7章 卷积神经网络”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 1/25。 在“第7章 卷积神经网络”的坐标1中,目录项「第7章 卷积神经网络」用于沿张量形状执行仿射、激活、稳定输出与批量推理;先冻结环境与shape,再以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照复核,出现矩阵轴错位、softmax溢出或批语义漂移时撤回结论。
7.1 整体结构
↡整体结构对应原版目录坐标“7·1 整体结构”,在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 2/25。 目录项「7·1 整体结构」进入“第7章 卷积神经网络”后要回答第2个实现问题:它怎样把目录坐标转为有代码、形状、梯度、训练和评估的实现合同、改变哪个数组或训练状态、由哪些环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界证明,并如何排除只复述代码或模型名称。
7.2 卷积层
↡卷积层对应原版目录坐标“7·2 卷积层”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 3/25。 围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”在原版层级3把「7·2 卷积层」落实为从空间几何和内存重排实现卷积网络;复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器,不能接受边界取整、通道或批轴错位。
7.2.1 全连接层存在的问题
↡全连接层存在的问题对应原版目录坐标“7·2·1 全连接层存在的问题”,在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 4/25。 对“第7章 卷积神经网络”而言,目录项「7·2·1 全连接层存在的问题」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第4次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。
7.2.2 卷积运算
↡卷积运算对应原版目录坐标“7·2·2 卷积运算”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 5/25。 第5个正式坐标「7·2·2 卷积运算」服务于覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”。
7.2.3 填充
↡填充对应原版目录坐标“7·2·3 填充”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 6/25。 在“第7章 卷积神经网络”的坐标6中,目录项「7·2·3 填充」用于从空间几何和内存重排实现卷积网络;先冻结环境与shape,再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核,出现边界取整、通道或批轴错位时撤回结论。
7.2.4 步幅
↡步幅对应原版目录坐标“7·2·4 步幅”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 7/25。 目录项「7·2·4 步幅」进入“第7章 卷积神经网络”后要回答第7个实现问题:它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明,并如何排除边界取整、通道或批轴错位。
7.2.5 3维数据的卷积运算
↡3维数据的卷积运算对应原版目录坐标“7·2·5 3维数据的卷积运算”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 8/25。 围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”在原版层级8把「7·2·5 3维数据的卷积运算」落实为从空间几何和内存重排实现卷积网络;复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器,不能接受边界取整、通道或批轴错位。
7.2.6 结合方块思考
↡结合方块思考对应原版目录坐标“7·2·6 结合方块思考”,在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 9/25。 对“第7章 卷积神经网络”而言,目录项「7·2·6 结合方块思考」的最小实现合同是把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,第9次检查保存环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界;若产生只复述代码或模型名称,就返回上一步。
7.2.7 批处理
↡批处理对应原版目录坐标“7·2·7 批处理”,在“第7章 卷积神经网络”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 10/25。 第10个正式坐标「7·2·7 批处理」服务于覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet,需要以输入/权重/偏置shape、中间缓存、激活范围、概率和与批对照呈现沿张量形状执行仿射、激活、稳定输出与批量推理;矩阵轴错位、softmax溢出或批语义漂移会破坏“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”。
7.3 池化层
↡池化层对应原版目录坐标“7·3 池化层”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 11/25。 在“第7章 卷积神经网络”的坐标11中,目录项「7·3 池化层」用于从空间几何和内存重排实现卷积网络;先冻结环境与shape,再以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器复核,出现边界取整、通道或批轴错位时撤回结论。
7.3.1 池化层的特征
↡池化层的特征对应原版目录坐标“7·3·1 池化层的特征”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 12/25。 目录项「7·3·1 池化层的特征」进入“第7章 卷积神经网络”后要回答第12个实现问题:它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明,并如何排除边界取整、通道或批轴错位。
7.4 卷积层和池化层的实现
↡卷积层和池化层的实现对应原版目录坐标“7·4 卷积层和池化层的实现”,在“第7章 卷积神经网络”中用于由forward缓存和局部导数组装反向传播,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 13/25。 围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”在原版层级13把「7·4 卷积层和池化层的实现」落实为由forward缓存和局部导数组装反向传播;复核者先读取图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差,不能接受广播凑齐梯度或跳过数值梯度检查。
7.4.1 4维数组
↡4维数组对应原版目录坐标“7·4·1 4维数组”,在“第7章 卷积神经网络”中用于以数组形状、轴和广播执行数值与可视化操作,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 14/25。 对“第7章 卷积神经网络”而言,目录项「7·4·1 4维数组」的最小实现合同是以数组形状、轴和广播执行数值与可视化操作,第14次检查保存dtype、shape、stride、广播轴、索引、数值范围和绘图输入;若产生广播或索引产生语义错误但仍可运行,就返回上一步。
7.4.2 基于im2col的展开
↡基于im2col的展开对应原版目录坐标“7·4·2 基于im2col的展开”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 15/25。 第15个正式坐标「7·4·2 基于im2col的展开」服务于覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”。
7.4.3 卷积层的实现
↡卷积层的实现对应原版目录坐标“7·4·3 卷积层的实现”,在“第7章 卷积神经网络”中用于由forward缓存和局部导数组装反向传播,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 16/25。 在“第7章 卷积神经网络”的坐标16中,目录项「7·4·3 卷积层的实现」用于由forward缓存和局部导数组装反向传播;先冻结环境与shape,再以图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差复核,出现广播凑齐梯度或跳过数值梯度检查时撤回结论。
7.4.4 池化层的实现
↡池化层的实现对应原版目录坐标“7·4·4 池化层的实现”,在“第7章 卷积神经网络”中用于由forward缓存和局部导数组装反向传播,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 17/25。 目录项「7·4·4 池化层的实现」进入“第7章 卷积神经网络”后要回答第17个实现问题:它怎样由forward缓存和局部导数组装反向传播、改变哪个数组或训练状态、由哪些图节点、输入输出shape、缓存、上游/下游梯度、参数梯度和差分误差证明,并如何排除广播凑齐梯度或跳过数值梯度检查。
7.5 CNN的实现
↡CNN的实现对应原版目录坐标“7·5 CNN的实现”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 18/25。 围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”在原版层级18把「7·5 CNN的实现」落实为从空间几何和内存重排实现卷积网络;复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器,不能接受边界取整、通道或批轴错位。
7.6 CNN的可视化
↡CNN的可视化对应原版目录坐标“7·6 CNN的可视化”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 19/25。 对“第7章 卷积神经网络”而言,目录项「7·6 CNN的可视化」的最小实现合同是从空间几何和内存重排实现卷积网络,第19次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器;若产生边界取整、通道或批轴错位,就返回上一步。
7.6.1 第1层权重的可视化
↡第1层权重的可视化对应原版目录坐标“7·6·1 第1层权重的可视化”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 20/25。 第20个正式坐标「7·6·1 第1层权重的可视化」服务于覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet,需要以NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器呈现从空间几何和内存重排实现卷积网络;边界取整、通道或批轴错位会破坏“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”。
7.6.2 基于分层结构的信息提取
↡基于分层结构的信息提取对应原版目录坐标“7·6·2 基于分层结构的信息提取”,在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 21/25。 在“第7章 卷积神经网络”的坐标21中,目录项「7·6·2 基于分层结构的信息提取」用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同;先冻结环境与shape,再以环境、输入输出、张量shape、缓存、梯度、训练轨迹、反例和时间边界复核,出现只复述代码或模型名称时撤回结论。
7.7 具有代表性的CNN
↡具有代表性的CNN对应原版目录坐标“7·7 具有代表性的CNN”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 22/25。 目录项「7·7 具有代表性的CNN」进入“第7章 卷积神经网络”后要回答第22个实现问题:它怎样从空间几何和内存重排实现卷积网络、改变哪个数组或训练状态、由哪些NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器证明,并如何排除边界取整、通道或批轴错位。
7.7.1 LeNet
↡LeNet对应原版目录坐标“7·7·1 LeNet”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 23/25。 围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”“第7章 卷积神经网络”在原版层级23把「7·7·1 LeNet」落实为从空间几何和内存重排实现卷积网络;复核者先读取NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器,不能接受边界取整、通道或批轴错位。
7.7.2 AlexNet
↡AlexNet对应原版目录坐标“7·7·2 AlexNet”,在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 24/25。 对“第7章 卷积神经网络”而言,目录项「7·7·2 AlexNet」的最小实现合同是从空间几何和内存重排实现卷积网络,第24次检查保存NCHW与核shape、padding/stride、窗口索引、im2col、前反向差值和滤波器;若产生边界取整、通道或批轴错位,就返回上一步。
7.8 小结
↡小结对应原版目录坐标“7·8 小结”,在“第7章 卷积神经网络”中用于复核Softmax-with-Loss的稳定正向和批量反向,并受环境、dtype、shape、代码状态、训练角色与版本边界约束。原版坐标 25/25。 第25个正式坐标「7·8 小结」服务于覆盖卷积/池化、padding/stride、多通道与批处理、im2col、CNN实现/可视化、LeNet与AlexNet,需要以logit/标签shape、稳定平移、概率、损失归约、反向梯度与差分误差呈现复核Softmax-with-Loss的稳定正向和批量反向;标签编码或batch归约错误会破坏“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”。
先预测,再操作三个章专属实现实验
1. 张量、算子与程序状态
固定“对小型多通道图像手算卷积,再实现im2col CNN并可视化第一层滤波器。”,在参考与反例间切换,逐阶段查看“标注四维形状、展开局部窗口、执行卷积、池化与反向、对照直接实现”的输入、代码动作、输出和shape检查。
张量信号路径
选择运行情形,逐步核对形状、算子与输出
怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?
输入设置
对小型多通道图像手算卷积,再实现im2col CNN并可视化第一层滤波器。 固定环境、数据、shape、初值、顺序、容差和种子。
事前预测
沿“标注四维形状 → 展开局部窗口 → 执行卷积 → 池化与反向 → 对照直接实现”得到可复核实现结果。
适用边界
全过程必须满足“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”。
输入张量或程序状态
第7章 卷积神经网络:锁定解释器、依赖、输入与数据角色,保持其余实现合同不变
本步算子或代码动作
冻结版本、dtype、shape、轴、种子和允许读取的信息,并持续满足“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”
输出张量或训练状态
标注四维形状产生可追溯输入状态
形状、梯度与数值检查
可追溯输入状态、shape与数值断言;出现“输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位”时停止
原版坐标:第7章 卷积神经网络、7.1 整体结构、7.2 卷积层、7.2.1 全连接层存在的问题、7.2.2 卷积运算、7.2.3 填充、7.2.4 步幅、7.2.5 3维数据的卷积运算、7.2.6 结合方块思考、7.2.7 批处理、7.3 池化层、7.3.1 池化层的特征、7.4 卷积层和池化层的实现、7.4.1 4维数组、7.4.2 基于im2col的展开、7.4.3 卷积层的实现、7.4.4 池化层的实现、7.5 CNN的实现、7.6 CNN的可视化、7.6.1 第1层权重的可视化、7.6.2 基于分层结构的信息提取、7.7 具有代表性的CNN、7.7.1 LeNet、7.7.2 AlexNet、7.8 小结
第7章 卷积神经网络的可重放实现协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 标注四维形状 | 在“第7章 卷积神经网络”执行标注四维形状,只改变声明的代码、数组或训练状态 | 环境、输入、dtype/shape、数据角色与版本 | 环境或shape不可追溯 |
| 展开局部窗口 | 在“第7章 卷积神经网络”执行展开局部窗口,只改变声明的代码、数组或训练状态 | 层、参数、缓存、梯度、优化器状态与输出 | 输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位 |
| 执行卷积 | 在“第7章 卷积神经网络”执行执行卷积,只改变声明的代码、数组或训练状态 | 层、参数、缓存、梯度、优化器状态与输出 | 输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位 |
| 池化与反向 | 在“第7章 卷积神经网络”执行池化与反向,只改变声明的代码、数组或训练状态 | 层、参数、缓存、梯度、优化器状态与输出 | 输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位 |
| 对照直接实现 | 在“第7章 卷积神经网络”执行对照直接实现,只改变声明的代码、数组或训练状态 | 梯度误差、曲线、独立评估、反例与复现 | 无法重放或缺少独立测试 |
unit: "dls-07"
question: "怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?"
scenario: "对小型多通道图像手算卷积,再实现im2col CNN并可视化第一层滤波器。"
stages:
["标注四维形状", "展开局部窗口", "执行卷积", "池化与反向", "对照直接实现"]
invariant: "NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定"
fault: "输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位"
evidence: "NCHW与核shape、输出公式、窗口索引、im2col矩阵、卷积/池化输出、反向col2im、直接实现差值和滤波器图。"
reset: restore_case_stage_trace_mode_step_gates_and_artifact该协议要求“第7章 卷积神经网络”在相同环境、数据角色、dtype/shape、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、训练门或证据包没有回到基线,交互状态已经污染比较。
本页回顾
掌握“第7章 卷积神经网络”不是背诵代码或API,而是能围绕“怎样从卷积几何推导输出shape,并证明im2col实现与直接卷积在前向和反向上等价?”重建环境、shape、前向、梯度、训练与评估证据,并用“NCHW轴、核shape、padding、stride、池化窗口、批大小和边界处理固定”拒绝“输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位”。最终交付为NCHW与核shape、输出公式、窗口索引、im2col矩阵、卷积/池化输出、反向col2im、直接实现差值和滤波器图。
练习与答案
练习
- 问题 1:实现合同。 “第7章 卷积神经网络”为什么必须先冻结环境、数据角色、dtype/shape、初值、顺序、容差和种子?
- 问题 2:目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习?
- 问题 3:故障恢复。 怎样证明“输出尺寸向下取整却未声明丢弃边界,或im2col重排后通道/批轴错位”已经被修正?
名词解释
名词解释
本章出现的专业名词,用大白话再讲一遍。
- 卷积神经网络
检索键 dls-A 对应目录坐标「第7章 卷积神经网络」;在“第7章 卷积神经网络”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 整体结构
检索键 dls-B 对应目录坐标「7·1 整体结构」;在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 卷积层
检索键 dls-C 对应目录坐标「7·2 卷积层」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 全连接层存在的问题
检索键 dls-D 对应目录坐标「7·2·1 全连接层存在的问题」;在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 卷积运算
检索键 dls-E 对应目录坐标「7·2·2 卷积运算」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 填充
检索键 dls-F 对应目录坐标「7·2·3 填充」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 步幅
检索键 dls-G 对应目录坐标「7·2·4 步幅」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 3维数据的卷积运算
检索键 dls-H 对应目录坐标「7·2·5 3维数据的卷积运算」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 结合方块思考
检索键 dls-I 对应目录坐标「7·2·6 结合方块思考」;在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 批处理
检索键 dls-J 对应目录坐标「7·2·7 批处理」;在“第7章 卷积神经网络”中用于沿张量形状执行仿射、激活、稳定输出与批量推理,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 池化层
检索键 dls-K 对应目录坐标「7·3 池化层」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 池化层的特征
检索键 dls-L 对应目录坐标「7·3·1 池化层的特征」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 卷积层和池化层的实现
检索键 dls-M 对应目录坐标「7·4 卷积层和池化层的实现」;在“第7章 卷积神经网络”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 4维数组
检索键 dls-N 对应目录坐标「7·4·1 4维数组」;在“第7章 卷积神经网络”中用于以数组形状、轴和广播执行数值与可视化操作,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 基于im2col的展开
检索键 dls-O 对应目录坐标「7·4·2 基于im2col的展开」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 卷积层的实现
检索键 dls-P 对应目录坐标「7·4·3 卷积层的实现」;在“第7章 卷积神经网络”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 池化层的实现
检索键 dls-Q 对应目录坐标「7·4·4 池化层的实现」;在“第7章 卷积神经网络”中用于由forward缓存和局部导数组装反向传播,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- CNN的实现
检索键 dls-R 对应目录坐标「7·5 CNN的实现」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- CNN的可视化
检索键 dls-S 对应目录坐标「7·6 CNN的可视化」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 第1层权重的可视化
检索键 dls-T 对应目录坐标「7·6·1 第1层权重的可视化」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 基于分层结构的信息提取
检索键 dls-U 对应目录坐标「7·6·2 基于分层结构的信息提取」;在“第7章 卷积神经网络”中用于把目录坐标转为有代码、形状、梯度、训练和评估的实现合同,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 具有代表性的CNN
检索键 dls-V 对应目录坐标「7·7 具有代表性的CNN」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- LeNet
检索键 dls-W 对应目录坐标「7·7·1 LeNet」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- AlexNet
检索键 dls-X 对应目录坐标「7·7·2 AlexNet」;在“第7章 卷积神经网络”中用于从空间几何和内存重排实现卷积网络,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。
- 小结
检索键 dls-Y 对应目录坐标「7·8 小结」;在“第7章 卷积神经网络”中用于复核Softmax-with-Loss的稳定正向和批量反向,需要连接原版范围、代码/shape、梯度轨迹与独立评估证据。