第6章 时序差分（TD）法

为什么从这个强化学习问题开始

本章允许每一步就更新价值，但这种及时性只有在目标动作与终止语义明确时才成立。 “第6章 时序差分（TD）法”的贯穿任务是：为“第6章 时序差分（TD）法”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。 动手前先写下哪个状态、动作、奖励、收益/目标、价值、梯度、策略概率或评估哈希会先变化；运行后补理由不算预测。

围绕“怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？”，“第6章 时序差分（TD）法”建立参考、故障与恢复路径。只有“第6章 时序差分（TD）法”守住“旧值、奖励、终止标记、下一动作来源、目标动作集合与更新单元一致；第6章 时序差分（TD）法的结论不得越过原版目录、实验数据和评估边界”并交付第6章 时序差分（TD）法的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告，奖励曲线或成功轨迹才构成机制证据。

书目、205个原版层级与版本边界

“第6章 时序差分（TD）法”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning ❹ ―強化学習編》于2022年4月6日出版、376页、ISBN 9784873119755。“第6章 时序差分（TD）法”采用出版社同页给出的10章与附录A至D作为完整目录边界；本站逐项统计10个章标题、57个一级节、128个二级节、4个附录标题和6个附录节，共205个正式目录层级。“第6章 时序差分（TD）法”再以出版社官方代码仓库核对实现目录，以官方勘误识别已知错误。

“第6章 时序差分（TD）法”没有使用未获授权的原书完整正文，只以出版社完整目录、官方代码和勘误限定范围；中文解释、数值、交互、练习与答案均为独立教学重写。“第6章 时序差分（TD）法”的中文授权书目页仅用于核对《深度学习入门4：强化学习》、人民邮电出版社2024年8月、333页和ISBN 9787115649171，不用来证明日文原版正文。“第6章 时序差分（TD）法”以2022年日文原版与2024年中文授权版目录为内容边界；当前环境API、后续论文与兼容修正只作带时间标签的独立核验。

“第6章 时序差分（TD）法”另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或实验边界；这些资料能验证本页技术事实，不能反向证明原书采用了本站表述。

原版目录层级与实现机制

第6章 TD方法

原版坐标 1/19。 在“第6章 时序差分（TD）法”的坐标1中，目录项「第6章 TD方法」用于声明本章在环境—转移—目标—更新—评估链中的职责与边界；先冻结环境、策略与随机性，再以原版坐标、输入对象、核心状态、下游接口、反例和时间边界复核，出现只罗列算法名或用当前热点重排原版时撤回结论。

6.1 使用TD方法评估策略

原版坐标 2/19。 目录项「6·1 使用TD方法评估策略」进入“第6章 时序差分（TD）法”后要回答第2个机制问题：它怎样把智能体和环境的交互定义为带概率与终止语义的决策过程、改变哪个真实状态、由哪些状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹证明，并如何排除状态遗漏历史信息或把即时奖励误作长期收益。

6.1.1 TD方法的推导

原版坐标 3/19。 围绕“怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？”，“第6章 时序差分（TD）法”在原版层级3把「6·1·1 TD方法的推导」落实为以一步或多步奖励和自举价值构造可在线更新的目标；复核者先读取转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值，不能接受终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作。

6.1.2 MC方法和TD方法的比较

原版坐标 4/19。 对“第6章 时序差分（TD）法”而言，目录项「6·1·2 MC方法和TD方法的比较」的最小强化学习合同是以一步或多步奖励和自举价值构造可在线更新的目标，第4次检查保存转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值；若产生终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作，就返回同一环境与参数快照。

6.1.3 TD方法的实现

原版坐标 5/19。 第5个正式坐标「6·1·3 TD方法的实现」服务于比较MC与TD目标，并实现SARSA、离策略SARSA和Q学习的单步更新，需要以转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值呈现以一步或多步奖励和自举价值构造可在线更新的目标；终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作会破坏“旧值、奖励、终止标记、下一动作来源、目标动作集合与更新单元一致；第6章 时序差分（TD）法的结论不得越过原版目录、实验数据和评估边界”。

6.2 SARSA

原版坐标 6/19。 在“第6章 时序差分（TD）法”的坐标6中，目录项「6·2 SARSA」用于以一步或多步奖励和自举价值构造可在线更新的目标；先冻结环境、策略与随机性，再以转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值复核，出现终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作时撤回结论。

6.2.1 同策略型的SARSA

原版坐标 7/19。 目录项「6·2·1 同策略型的SARSA」进入“第6章 时序差分（TD）法”后要回答第7个机制问题：它怎样把智能体和环境的交互定义为带概率与终止语义的决策过程、改变哪个真实状态、由哪些状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹证明，并如何排除状态遗漏历史信息或把即时奖励误作长期收益。

6.2.2 SARSA的实现

原版坐标 8/19。 围绕“怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？”，“第6章 时序差分（TD）法”在原版层级8把「6·2·2 SARSA的实现」落实为以一步或多步奖励和自举价值构造可在线更新的目标；复核者先读取转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值，不能接受终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作。

6.3 异策略型的SARSA

原版坐标 9/19。 对“第6章 时序差分（TD）法”而言，目录项「6·3 异策略型的SARSA」的最小强化学习合同是把智能体和环境的交互定义为带概率与终止语义的决策过程，第9次检查保存状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹；若产生状态遗漏历史信息或把即时奖励误作长期收益，就返回同一环境与参数快照。

6.3.1 异策略和重要性采样

原版坐标 10/19。 第10个正式坐标「6·3·1 异策略和重要性采样」服务于比较MC与TD目标，并实现SARSA、离策略SARSA和Q学习的单步更新，需要以状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹呈现把智能体和环境的交互定义为带概率与终止语义的决策过程；状态遗漏历史信息或把即时奖励误作长期收益会破坏“旧值、奖励、终止标记、下一动作来源、目标动作集合与更新单元一致；第6章 时序差分（TD）法的结论不得越过原版目录、实验数据和评估边界”。

6.3.2 异策略型的SARSA的实现

原版坐标 11/19。 在“第6章 时序差分（TD）法”的坐标11中，目录项「6·3·2 异策略型的SARSA的实现」用于把智能体和环境的交互定义为带概率与终止语义的决策过程；先冻结环境、策略与随机性，再以状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹复核，出现状态遗漏历史信息或把即时奖励误作长期收益时撤回结论。

6.4 Q学习

原版坐标 12/19。 目录项「6·4 Q学习」进入“第6章 时序差分（TD）法”后要回答第12个机制问题：它怎样以一步或多步奖励和自举价值构造可在线更新的目标、改变哪个真实状态、由哪些转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值证明，并如何排除终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作。

6.4.1 贝尔曼方程与SARSA

原版坐标 13/19。 围绕“怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？”，“第6章 时序差分（TD）法”在原版层级13把「6·4·1 贝尔曼方程与SARSA」落实为用一步递归把当前奖励与后继价值组合为一致的价值等式；复核者先读取转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差，不能接受在同一备份中混用不同策略、不同MDP或错误的最大化位置。

6.4.2 贝尔曼最优方程与Q学习

原版坐标 14/19。 对“第6章 时序差分（TD）法”而言，目录项「6·4·2 贝尔曼最优方程与Q学习」的最小强化学习合同是用一步递归把当前奖励与后继价值组合为一致的价值等式，第14次检查保存转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差；若产生在同一备份中混用不同策略、不同MDP或错误的最大化位置，就返回同一环境与参数快照。

6.4.3 Q学习的实现

原版坐标 15/19。 第15个正式坐标「6·4·3 Q学习的实现」服务于比较MC与TD目标，并实现SARSA、离策略SARSA和Q学习的单步更新，需要以转移五元组、旧值、下一动作来源、终止掩码、TD目标、误差与新值呈现以一步或多步奖励和自举价值构造可在线更新的目标；终止后继续自举或把SARSA的实际动作替换为Q学习的贪心动作会破坏“旧值、奖励、终止标记、下一动作来源、目标动作集合与更新单元一致；第6章 时序差分（TD）法的结论不得越过原版目录、实验数据和评估边界”。

6.5 分布模型与样本模型

原版坐标 16/19。 在“第6章 时序差分（TD）法”的坐标16中，目录项「6·5 分布模型与样本模型」用于从完整样本回合计算收益，并在目标策略与行为策略间校正分布；先冻结环境、策略与随机性，再以轨迹、访问口径、反向收益、动作概率、重要性权重、估计累计量与方差复核，出现概率身份颠倒、支持集缺失或把高方差样本当作确定结论时撤回结论。

6.5.1 分布模型与样本模型

原版坐标 17/19。 目录项「6·5·1 分布模型与样本模型」进入“第6章 时序差分（TD）法”后要回答第17个机制问题：它怎样从完整样本回合计算收益，并在目标策略与行为策略间校正分布、改变哪个真实状态、由哪些轨迹、访问口径、反向收益、动作概率、重要性权重、估计累计量与方差证明，并如何排除概率身份颠倒、支持集缺失或把高方差样本当作确定结论。

6.5.2 样本模型版的Q学习

原版坐标 18/19。 围绕“怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？”，“第6章 时序差分（TD）法”在原版层级18把「6·5·2 样本模型版的Q学习」落实为从完整样本回合计算收益，并在目标策略与行为策略间校正分布；复核者先读取轨迹、访问口径、反向收益、动作概率、重要性权重、估计累计量与方差，不能接受概率身份颠倒、支持集缺失或把高方差样本当作确定结论。

6.6 小结

原版坐标 19/19。 对“第6章 时序差分（TD）法”而言，目录项「6·6 小结」的最小强化学习合同是声明本章在环境—转移—目标—更新—评估链中的职责与边界，第19次检查保存原版坐标、输入对象、核心状态、下游接口、反例和时间边界；若产生只罗列算法名或用当前热点重排原版，就返回同一环境与参数快照。

先预测，再操作三个章节专属强化学习实验

第6章 时序差分（TD）法的可重放实现协议

unit: "dlr-06"
question: "怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？"
scenario: "为“第6章 时序差分（TD）法”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。"
stages: ["记录转移", "选择目标动作", "构造TD目标", "更新一个值", "对照算法"]
invariant: "旧值、奖励、终止标记、下一动作来源、目标动作集合与更新单元一致；第6章 时序差分（TD）法的结论不得越过原版目录、实验数据和评估边界"
fault: "终止转移仍把下一状态价值加入TD目标；在第6章 时序差分（TD）法验收中只注入这一处"
evidence: "第6章 时序差分（TD）法的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告"
reset: restore_environment_policy_parameters_rng_trace_gates_and_artifact

该协议要求“第6章 时序差分（TD）法”在相同环境、状态/动作语义、奖励、终止规则、策略版本、初值、预算和随机序列下重放。重置“第6章 时序差分（TD）法”后若案例、阶段、轨迹模式、步骤、验收门或证据包没有回到基线，交互状态已经污染比较。

本页回顾

掌握“第6章 时序差分（TD）法”不是背诵算法名或最终奖励，而是能围绕“怎样从一个转移五元组分清实际下一动作、贪心目标动作与终止状态的自举边界？”重建环境、转移、收益/目标、价值或策略更新、随机性与冻结评估证据，并用“旧值、奖励、终止标记、下一动作来源、目标动作集合与更新单元一致；第6章 时序差分（TD）法的结论不得越过原版目录、实验数据和评估边界”拒绝“终止转移仍把下一状态价值加入TD目标；在第6章 时序差分（TD）法验收中只注入这一处”。“第6章 时序差分（TD）法”最终交付为第6章 时序差分（TD）法的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告

练习与答案

名词解释