步骤4 数值微分

建立Variable/Function、计算图、链式法则、自动反向与梯度测试，并逐项覆盖步骤4 数值微分、4.1 什么是导数、4.2 数值微分的实现、4.3 复合函数的导数、4.4 数值微分存在的问题；用计算图合同、单故障反向轨迹和框架增量验收门完成独立复核。

学习目标

  • 能说明“步骤4 数值微分”如何建立Variable/Function、计算图、链式法则、自动反向与梯度测试，并逐项覆盖步骤4 数值微分、4.1 什么是导数、4.2 数值微分的实现、4.3 复合函数的导数、4.4 数值微分存在的问题，并区分2020年原版、2023年中文译本与当前扩展
  • 能先预测“怎样让对象身份、creator边和反向传播顺序形成可自动验证的最小计算图？ 当前步骤新增的最小能力和失败边界分别是什么？”“步骤4 数值微分”会改变哪个对象、图边、梯度、资源或模式状态，再逐步复核
  • 能注入“creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处”，用“Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤”决定接受、回退或拒绝框架增量

为什么从这个框架问题开始

“步骤4 数值微分”必须交付一个可单独回退的框架增量，不能把后续完整DeZero倒灌进当前步骤。 “步骤4 数值微分”的贯穿任务是：从上一步DeZero快照出发，只实现“步骤4 数值微分”，再用参考图与单故障图做差分回归。 动手前先写下哪个对象、图边、shape、梯度、资源或模式状态会变化；运行后补理由不算预测。

围绕“怎样让对象身份、creator边和反向传播顺序形成可自动验证的最小计算图？ 当前步骤新增的最小能力和失败边界分别是什么？”“步骤4 数值微分”建立参考、故障与恢复路径。只有它守住“Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤”并交付dl2-step-04代码补丁、对象/边快照、输入输出shape、前向缓存、梯度轨迹、资源状态、回归测试与失败复现，代码、对象图或训练结果才构成自制框架证据。

书目、275个原版层级与版本边界

“步骤4 数值微分”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning ❸ ―フレームワーク編》于2020年4月20日出版、552页、ISBN 9784873119069。对“步骤4 数值微分”而言，出版社同页给出的5个阶段、60个步骤与编号小节构成完整目录边界；本站逐项统计5个阶段标题、60个步骤、207个编号小节和附录A至C，共275个正式目录层级。“步骤4 数值微分”再以出版社官方代码仓库核对逐步实现，以作者公开样章核对教学顺序，以官方勘误识别已知错误。

“步骤4 数值微分”没有使用未获授权的原书完整正文，只以出版社完整目录、官方代码、作者公开样章和勘误限定范围；中文解释、代码实验、交互、练习与答案均为独立教学重写。“步骤4 数值微分”的中文译本书目信息仅用于核对郑明智译《深度学习入门2：自制框架》、人民邮电出版社2023年3月、ISBN 9787115607515，不用来证明日文原版正文。“步骤4 数值微分”以2020年日文原版与2023年中文译本目录为内容边界；当前Python/NumPy/CuPy兼容修正和后续框架只作带时间标签的独立核验。

“步骤4 数值微分”另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或数值诊断；这些外部资料能验证本页技术事实，不能反向证明原书采用了本站表述。

原版目录层级与实现机制

步骤4 数值微分

原版坐标 1/5。 在“步骤4 数值微分”的坐标1中，目录项「步骤4 数值微分」用于声明本步相对上一快照新增的框架能力与依赖；先冻结代码快照、对象图与shape，再以前置API、代码差分、对象/边快照、回归用例和回退点复核，出现把后续完整实现倒灌到当前步骤时撤回结论。

4.1 什么是导数

原版坐标 2/5。 目录项「4·1 什么是导数」进入“步骤4 数值微分”后要回答第2个框架问题：它怎样以中心差分和自动测试反证反向传播实现、改变哪个对象、图边、梯度或资源状态、由哪些差分步长、数值/解析梯度、相对误差、输入种子和失败定位证明，并如何排除只测一个幸运输入或差分步长不稳定。

4.2 数值微分的实现

原版坐标 3/5。 围绕“怎样让对象身份、creator边和反向传播顺序形成可自动验证的最小计算图？ 当前步骤新增的最小能力和失败边界分别是什么？”“步骤4 数值微分”在原版层级3把「4·2 数值微分的实现」落实为以中心差分和自动测试反证反向传播实现；复核者先读取差分步长、数值/解析梯度、相对误差、输入种子和失败定位，不能接受只测一个幸运输入或差分步长不稳定。

4.3 复合函数的导数

原版坐标 4/5。 对“步骤4 数值微分”而言，目录项「4·3 复合函数的导数」的最小框架增量合同是以中心差分和自动测试反证反向传播实现，第4次检查保存差分步长、数值/解析梯度、相对误差、输入种子和失败定位；若产生只测一个幸运输入或差分步长不稳定，就返回上一步快照。

4.4 数值微分存在的问题

原版坐标 5/5。 第5个正式坐标「4·4 数值微分存在的问题」服务于建立Variable/Function、计算图、链式法则、自动反向与梯度测试，并逐项覆盖步骤4 数值微分、4.1 什么是导数、4.2 数值微分的实现、4.3 复合函数的导数、4.4 数值微分存在的问题，需要以差分步长、数值/解析梯度、相对误差、输入种子和失败定位呈现以中心差分和自动测试反证反向传播实现；只测一个幸运输入或差分步长不稳定会破坏“Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤”。

先预测，再操作三个步骤专属框架实验

分步1 / 3

1. 对象、图边与前向合同

固定“从上一步DeZero快照出发，只实现“步骤4 数值微分”，再用参考图与单故障图做差分回归。”，在参考与反例间切换，逐阶段查看“对象合同、前向连边、局部导数、反向调度、梯度测试”的对象输入、连边动作、输出和身份/shape检查。

DeZero 计算图合同

选择运行情形，逐步核对对象、边、generation 与输出

怎样让对象身份、creator边和反向传播顺序形成可自动验证的最小计算图？ 当前步骤新增的最小能力和失败边界分别是什么？

输入设置

从上一步DeZero快照出发，只实现“步骤4 数值微分”，再用参考图与单故障图做差分回归。 固定代码快照、对象图、输入、shape、顺序、容差和种子。

事前预测

沿“对象合同 → 前向连边 → 局部导数 → 反向调度 → 梯度测试”得到可复核框架增量。

适用边界

全过程必须满足“Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤”。

进入本步的对象状态

步骤4 数值微分：锁定上一步快照、对象与公共API，保持其余DeZero合同不变

框架扩展或算子动作

冻结版本、对象身份、dtype/shape、图边和允许读取的信息，并持续满足“Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤”

离开本步的图状态

对象合同产生可追溯框架前置状态

身份、shape、梯度与生命周期检查

可追溯框架前置状态、身份/shape/梯度断言；出现“creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处”时停止

原版坐标：步骤4 数值微分、4.1 什么是导数、4.2 数值微分的实现、4.3 复合函数的导数、4.4 数值微分存在的问题

步骤4 数值微分的可重放实现协议

阶段允许动作必留证据拒绝条件
对象合同在“步骤4 数值微分”执行对象合同，只改变声明的对象、图边、算子、资源或模式状态代码快照、前置API、对象身份、dtype/shape与版本前置快照或对象图不可追溯
前向连边在“步骤4 数值微分”执行前向连边，只改变声明的对象、图边、算子、资源或模式状态输入输出对象、creator/generation、缓存、梯度、参数与资源状态creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处
局部导数在“步骤4 数值微分”执行局部导数，只改变声明的对象、图边、算子、资源或模式状态输入输出对象、creator/generation、缓存、梯度、参数与资源状态creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处
反向调度在“步骤4 数值微分”执行反向调度，只改变声明的对象、图边、算子、资源或模式状态输入输出对象、creator/generation、缓存、梯度、参数与资源状态creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处
梯度测试在“步骤4 数值微分”执行梯度测试，只改变声明的对象、图边、算子、资源或模式状态梯度对照、资源释放、跨设备/模式回归、反例与复现无法重放或缺少历史回归
unit: "dl2-step-04"
question: "怎样让对象身份、creator边和反向传播顺序形成可自动验证的最小计算图？ 当前步骤新增的最小能力和失败边界分别是什么？"
scenario: "从上一步DeZero快照出发，只实现“步骤4 数值微分”，再用参考图与单故障图做差分回归。"
stages: ["对象合同", "前向连边", "局部导数", "反向调度", "梯度测试"]
invariant: "Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤"
fault: "creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处"
evidence: "dl2-step-04代码补丁、对象/边快照、输入输出shape、前向缓存、梯度轨迹、资源状态、回归测试与失败复现"
reset: restore_case_stage_trace_mode_step_gates_and_artifact

该协议要求“步骤4 数值微分”在相同代码快照、对象图、dtype/shape、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、框架门或证据包没有回到基线，交互状态已经污染比较。

本页回顾

掌握“步骤4 数值微分”不是背诵最终代码或API，而是能围绕“怎样让对象身份、creator边和反向传播顺序形成可自动验证的最小计算图？ 当前步骤新增的最小能力和失败边界分别是什么？”重建前置快照、对象、图边、前向、梯度、资源与回归证据，并用“Variable.data/grad/creator、Function输入输出、局部导数、拓扑顺序和梯度检查一致；步骤4 数值微分的新增能力不得破坏此前步骤”拒绝“creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处”。最终交付为dl2-step-04代码补丁、对象/边快照、输入输出shape、前向缓存、梯度轨迹、资源状态、回归测试与失败复现

练习与答案

练习

  1. 问题 1：框架增量合同。 “步骤4 数值微分”为什么必须先冻结代码快照、对象图、dtype/shape、初值、顺序、容差和种子？
  1. 问题 2：目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习？
  1. 问题 3：故障恢复。 怎样证明“creator边或局部导数错误，但只凭一个标量结果看似正确；在步骤4 数值微分验收中只注入这一处”已经被修正？

名词解释

名词解释

本章出现的专业名词，用大白话再讲一遍。

数值微分

检索键 dl2-A 对应目录坐标「步骤4 数值微分」；在“步骤4 数值微分”中用于声明本步相对上一快照新增的框架能力与依赖，需要连接原版范围、对象/图边、shape、梯度轨迹、资源状态与回归证据。

什么是导数

检索键 dl2-B 对应目录坐标「4·1 什么是导数」；在“步骤4 数值微分”中用于以中心差分和自动测试反证反向传播实现，需要连接原版范围、对象/图边、shape、梯度轨迹、资源状态与回归证据。

数值微分的实现

检索键 dl2-C 对应目录坐标「4·2 数值微分的实现」；在“步骤4 数值微分”中用于以中心差分和自动测试反证反向传播实现，需要连接原版范围、对象/图边、shape、梯度轨迹、资源状态与回归证据。

复合函数的导数

检索键 dl2-D 对应目录坐标「4·3 复合函数的导数」；在“步骤4 数值微分”中用于以中心差分和自动测试反证反向传播实现，需要连接原版范围、对象/图边、shape、梯度轨迹、资源状态与回归证据。

数值微分存在的问题

检索键 dl2-E 对应目录坐标「4·4 数值微分存在的问题」；在“步骤4 数值微分”中用于以中心差分和自动测试反证反向传播实现，需要连接原版范围、对象/图边、shape、梯度轨迹、资源状态与回归证据。

复习本章（6 题）

讨论

评论区加载中…