第3章 贝尔曼方程
从一步收益递归推导状态价值、动作价值与贝尔曼最优方程；用转移账本、单故障收益更新轨迹和冻结评估门完成复核。
学习目标
- 能说明“第3章 贝尔曼方程”如何从一步收益递归推导状态价值、动作价值与贝尔曼最优方程，并区分2022年原版、2024年中文授权版与当前扩展
- 能先预测“怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？”会改变哪一条转移、收益/目标、价值、梯度或策略概率，再逐步复核
- 能注入“在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处”，用“当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界”决定接受、回退或拒绝强化学习结论
为什么从这个强化学习问题开始
本章把长期收益拆成即时奖励与剩余收益，要求每个期望项都能追到具体后继状态。 “第3章 贝尔曼方程”的贯穿任务是：为“第3章 贝尔曼方程”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。 动手前先写下哪个状态、动作、奖励、收益/目标、价值、梯度、策略概率或评估哈希会先变化；运行后补理由不算预测。
围绕“怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？”，“第3章 贝尔曼方程”建立参考、故障与恢复路径。只有“第3章 贝尔曼方程”守住“当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界”并交付第3章 贝尔曼方程的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告，奖励曲线或成功轨迹才构成机制证据。
书目、205个原版层级与版本边界
“第3章 贝尔曼方程”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning ❹ ―強化学習編》于2022年4月6日出版、376页、ISBN 9784873119755。“第3章 贝尔曼方程”采用出版社同页给出的10章与附录A至D作为完整目录边界；本站逐项统计10个章标题、57个一级节、128个二级节、4个附录标题和6个附录节，共205个正式目录层级。“第3章 贝尔曼方程”再以出版社官方代码仓库核对实现目录，以官方勘误识别已知错误。
“第3章 贝尔曼方程”没有使用未获授权的原书完整正文，只以出版社完整目录、官方代码和勘误限定范围；中文解释、数值、交互、练习与答案均为独立教学重写。“第3章 贝尔曼方程”的中文授权书目页仅用于核对《深度学习入门4：强化学习》、人民邮电出版社2024年8月、333页和ISBN 9787115649171，不用来证明日文原版正文。“第3章 贝尔曼方程”以2022年日文原版与2024年中文授权版目录为内容边界；当前环境API、后续论文与兼容修正只作带时间标签的独立核验。
“第3章 贝尔曼方程”另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或实验边界；这些资料能验证本页技术事实，不能反向证明原书采用了本站表述。
原版目录层级与实现机制
第3章 贝尔曼方程
↡贝尔曼方程对应原版目录坐标“第3章 贝尔曼方程”，在“第3章 贝尔曼方程”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 1/17。 在“第3章 贝尔曼方程”的坐标1中，目录项「第3章 贝尔曼方程」用于声明本章在环境—转移—目标—更新—评估链中的职责与边界；先冻结环境、策略与随机性，再以原版坐标、输入对象、核心状态、下游接口、反例和时间边界复核，出现只罗列算法名或用当前热点重排原版时撤回结论。
3.1 贝尔曼方程的推导
↡贝尔曼方程的推导对应原版目录坐标“3·1 贝尔曼方程的推导”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 2/17。 目录项「3·1 贝尔曼方程的推导」进入“第3章 贝尔曼方程”后要回答第2个机制问题：它怎样用一步递归把当前奖励与后继价值组合为一致的价值等式、改变哪个真实状态、由哪些转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差证明，并如何排除在同一备份中混用不同策略、不同MDP或错误的最大化位置。
3.1.1 概率和期望值（推导贝尔曼方程的准备）
↡概率和期望值（推导贝尔曼方程的准备）对应原版目录坐标“3·1·1 概率和期望值（推导贝尔曼方程的准备）”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 3/17。 围绕“怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？”，“第3章 贝尔曼方程”在原版层级3把「3·1·1 概率和期望值（推导贝尔曼方程的准备）」落实为用一步递归把当前奖励与后继价值组合为一致的价值等式；复核者先读取转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差，不能接受在同一备份中混用不同策略、不同MDP或错误的最大化位置。
3.1.2 贝尔曼方程的推导
↡贝尔曼方程的推导对应原版目录坐标“3·1·2 贝尔曼方程的推导”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 4/17。 对“第3章 贝尔曼方程”而言，目录项「3·1·2 贝尔曼方程的推导」的最小强化学习合同是用一步递归把当前奖励与后继价值组合为一致的价值等式，第4次检查保存转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差；若产生在同一备份中混用不同策略、不同MDP或错误的最大化位置，就返回同一环境与参数快照。
3.2 贝尔曼方程的例子
↡贝尔曼方程的例子对应原版目录坐标“3·2 贝尔曼方程的例子”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 5/17。 第5个正式坐标「3·2 贝尔曼方程的例子」服务于从一步收益递归推导状态价值、动作价值与贝尔曼最优方程，需要以转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差呈现用一步递归把当前奖励与后继价值组合为一致的价值等式；在同一备份中混用不同策略、不同MDP或错误的最大化位置会破坏“当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界”。
3.2.1 2格网格世界
↡2格网格世界对应原版目录坐标“3·2·1 2格网格世界”，在“第3章 贝尔曼方程”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 6/17。 在“第3章 贝尔曼方程”的坐标6中，目录项「3·2·1 2格网格世界」用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同；先冻结环境、策略与随机性，再以原版范围、输入输出、状态、动作、奖励、目标、参数、随机性与反例复核，出现只复述术语或只展示最终平均奖励时撤回结论。
3.2.2 贝尔曼方程的意义
↡贝尔曼方程的意义对应原版目录坐标“3·2·2 贝尔曼方程的意义”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 7/17。 目录项「3·2·2 贝尔曼方程的意义」进入“第3章 贝尔曼方程”后要回答第7个机制问题：它怎样用一步递归把当前奖励与后继价值组合为一致的价值等式、改变哪个真实状态、由哪些转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差证明，并如何排除在同一备份中混用不同策略、不同MDP或错误的最大化位置。
3.3 动作价值函数与贝尔曼方程
↡动作价值函数与贝尔曼方程对应原版目录坐标“3·3 动作价值函数与贝尔曼方程”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 8/17。 围绕“怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？”，“第3章 贝尔曼方程”在原版层级8把「3·3 动作价值函数与贝尔曼方程」落实为用一步递归把当前奖励与后继价值组合为一致的价值等式；复核者先读取转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差，不能接受在同一备份中混用不同策略、不同MDP或错误的最大化位置。
3.3.1 动作价值函数
↡动作价值函数对应原版目录坐标“3·3·1 动作价值函数”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 9/17。 对“第3章 贝尔曼方程”而言，目录项「3·3·1 动作价值函数」的最小强化学习合同是用一步递归把当前奖励与后继价值组合为一致的价值等式，第9次检查保存转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差；若产生在同一备份中混用不同策略、不同MDP或错误的最大化位置，就返回同一环境与参数快照。
3.3.2 使用动作价值函数的贝尔曼方程
↡使用动作价值函数的贝尔曼方程对应原版目录坐标“3·3·2 使用动作价值函数的贝尔曼方程”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 10/17。 第10个正式坐标「3·3·2 使用动作价值函数的贝尔曼方程」服务于从一步收益递归推导状态价值、动作价值与贝尔曼最优方程，需要以转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差呈现用一步递归把当前奖励与后继价值组合为一致的价值等式；在同一备份中混用不同策略、不同MDP或错误的最大化位置会破坏“当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界”。
3.4 贝尔曼最优方程
↡贝尔曼最优方程对应原版目录坐标“3·4 贝尔曼最优方程”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 11/17。 在“第3章 贝尔曼方程”的坐标11中，目录项「3·4 贝尔曼最优方程」用于用一步递归把当前奖励与后继价值组合为一致的价值等式；先冻结环境、策略与随机性，再以转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差复核，出现在同一备份中混用不同策略、不同MDP或错误的最大化位置时撤回结论。
3.4.1 状态价值函数的贝尔曼最优方程
↡状态价值函数的贝尔曼最优方程对应原版目录坐标“3·4·1 状态价值函数的贝尔曼最优方程”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 12/17。 目录项「3·4·1 状态价值函数的贝尔曼最优方程」进入“第3章 贝尔曼方程”后要回答第12个机制问题：它怎样用一步递归把当前奖励与后继价值组合为一致的价值等式、改变哪个真实状态、由哪些转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差证明，并如何排除在同一备份中混用不同策略、不同MDP或错误的最大化位置。
3.4.2 Q函数的贝尔曼最优方程
↡Q函数的贝尔曼最优方程对应原版目录坐标“3·4·2 Q函数的贝尔曼最优方程”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 13/17。 围绕“怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？”，“第3章 贝尔曼方程”在原版层级13把「3·4·2 Q函数的贝尔曼最优方程」落实为用一步递归把当前奖励与后继价值组合为一致的价值等式；复核者先读取转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差，不能接受在同一备份中混用不同策略、不同MDP或错误的最大化位置。
3.5 贝尔曼最优方程的示例
↡贝尔曼最优方程的示例对应原版目录坐标“3·5 贝尔曼最优方程的示例”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 14/17。 对“第3章 贝尔曼方程”而言，目录项「3·5 贝尔曼最优方程的示例」的最小强化学习合同是用一步递归把当前奖励与后继价值组合为一致的价值等式，第14次检查保存转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差；若产生在同一备份中混用不同策略、不同MDP或错误的最大化位置，就返回同一环境与参数快照。
3.5.1 应用贝尔曼最优方程
↡应用贝尔曼最优方程对应原版目录坐标“3·5·1 应用贝尔曼最优方程”，在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 15/17。 第15个正式坐标「3·5·1 应用贝尔曼最优方程」服务于从一步收益递归推导状态价值、动作价值与贝尔曼最优方程，需要以转移概率、策略概率、即时奖励、折扣、后继价值、最大值与残差呈现用一步递归把当前奖励与后继价值组合为一致的价值等式；在同一备份中混用不同策略、不同MDP或错误的最大化位置会破坏“当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界”。
3.5.2 获得最优策略
↡获得最优策略对应原版目录坐标“3·5·2 获得最优策略”，在“第3章 贝尔曼方程”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 16/17。 在“第3章 贝尔曼方程”的坐标16中，目录项「3·5·2 获得最优策略」用于把智能体和环境的交互定义为带概率与终止语义的决策过程；先冻结环境、策略与随机性，再以状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹复核，出现状态遗漏历史信息或把即时奖励误作长期收益时撤回结论。
3.6 小结
↡小结对应原版目录坐标“3·6 小结”，在“第3章 贝尔曼方程”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 17/17。 目录项「3·6 小结」进入“第3章 贝尔曼方程”后要回答第17个机制问题：它怎样声明本章在环境—转移—目标—更新—评估链中的职责与边界、改变哪个真实状态、由哪些原版坐标、输入对象、核心状态、下游接口、反例和时间边界证明，并如何排除只罗列算法名或用当前热点重排原版。
先预测，再操作三个章节专属强化学习实验
1. 状态—动作—奖励转移账本
固定“为“第3章 贝尔曼方程”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。”，在参考、单故障和边界探针间切换，逐阶段查看“冻结MDP、展开一步、加权后继、完成备份、检查残差”的输入对象、唯一动作、输出状态和必留证据。
强化学习状态—动作—奖励账本
选择运行情形，逐阶段核对真实对象与状态变化
怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？
环境与策略设置
第3章 贝尔曼方程使用冻结环境、固定策略版本、固定预算和种子，不启用故障。
运行前预测
第3章 贝尔曼方程应沿“冻结MDP → 展开一步 → 加权后继 → 完成备份 → 检查残差”得到可重放的转移、目标、更新与评估轨迹。
适用与拒绝边界
第3章 贝尔曼方程的参考运行只证明声明环境与预算内的机制，不外推到未测任务。
进入本阶段的对象与状态
第3章 贝尔曼方程在“冻结MDP”读取环境版本、状态/动作空间、奖励、终止语义、初始分布、策略与随机种子。
本阶段唯一允许的动作
第3章 贝尔曼方程在“冻结MDP”阶段冻结本页问题所需的任务快照，不运行训练或评估。
离开本阶段的真实状态
第3章 贝尔曼方程在“冻结MDP”阶段产出可哈希的环境与策略前置状态。
必须保存的可复核证据
第3章 贝尔曼方程在“冻结MDP”阶段保存环境配置、空间定义、种子、参数版本与允许读取的信息。
原版目录坐标：第3章 贝尔曼方程、3.1 贝尔曼方程的推导、3.1.1 概率和期望值（推导贝尔曼方程的准备）、3.1.2 贝尔曼方程的推导、3.2 贝尔曼方程的例子、3.2.1 2格网格世界、3.2.2 贝尔曼方程的意义、3.3 动作价值函数与贝尔曼方程、3.3.1 动作价值函数、3.3.2 使用动作价值函数的贝尔曼方程、3.4 贝尔曼最优方程、3.4.1 状态价值函数的贝尔曼最优方程、3.4.2 Q函数的贝尔曼最优方程、3.5 贝尔曼最优方程的示例、3.5.1 应用贝尔曼最优方程、3.5.2 获得最优策略、3.6 小结
第3章 贝尔曼方程的可重放实现协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 冻结MDP | 在“第3章 贝尔曼方程”执行冻结MDP，只改变声明的环境、转移、目标、价值、参数或评估状态 | 环境/空间定义、奖励/终止语义、策略版本、初值与种子 | 任务或随机性不可追溯 |
| 展开一步 | 在“第3章 贝尔曼方程”执行展开一步，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处 |
| 加权后继 | 在“第3章 贝尔曼方程”执行加权后继，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处 |
| 完成备份 | 在“第3章 贝尔曼方程”执行完成备份，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处 |
| 检查残差 | 在“第3章 贝尔曼方程”执行检查残差，只改变声明的环境、转移、目标、价值、参数或评估状态 | 冻结评估、逐种子分布、反例、2022/当前边界与参数哈希 | 评估仍写参数或无法重放 |
unit: "dlr-03"
question: "怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？"
scenario: "为“第3章 贝尔曼方程”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。"
stages: ["冻结MDP", "展开一步", "加权后继", "完成备份", "检查残差"]
invariant: "当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界"
fault: "在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处"
evidence: "第3章 贝尔曼方程的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告"
reset: restore_environment_policy_parameters_rng_trace_gates_and_artifact该协议要求“第3章 贝尔曼方程”在相同环境、状态/动作语义、奖励、终止规则、策略版本、初值、预算和随机序列下重放。重置“第3章 贝尔曼方程”后若案例、阶段、轨迹模式、步骤、验收门或证据包没有回到基线，交互状态已经污染比较。
本页回顾
掌握“第3章 贝尔曼方程”不是背诵算法名或最终奖励，而是能围绕“怎样让期望、转移概率、策略概率和下一状态价值落在同一份贝尔曼备份账本中？”重建环境、转移、收益/目标、价值或策略更新、随机性与冻结评估证据，并用“当前奖励、折扣、下一状态分布、策略权重与价值函数定义使用同一MDP；第3章 贝尔曼方程的结论不得越过原版目录、实验数据和评估边界”拒绝“在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处”。“第3章 贝尔曼方程”最终交付为第3章 贝尔曼方程的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告
练习与答案
练习
- 问题 1：强化学习实验合同。 “第3章 贝尔曼方程”为什么必须先冻结环境、空间语义、奖励、终止规则、策略版本、初值、预算和随机种子？
- 问题 2：目录逐项覆盖。 怎样证明“第3章 贝尔曼方程”的原版目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“第3章 贝尔曼方程”中的“在同一次备份中混用行为策略概率和最优动作的最大值；在第3章 贝尔曼方程验收中只注入这一处”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 贝尔曼方程
检索键 dlr-A 对应目录坐标「第3章 贝尔曼方程」；在“第3章 贝尔曼方程”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 贝尔曼方程的推导
检索键 dlr-B 对应目录坐标「3·1 贝尔曼方程的推导」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 概率和期望值（推导贝尔曼方程的准备）
检索键 dlr-C 对应目录坐标「3·1·1 概率和期望值（推导贝尔曼方程的准备）」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 贝尔曼方程的推导
检索键 dlr-D 对应目录坐标「3·1·2 贝尔曼方程的推导」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 贝尔曼方程的例子
检索键 dlr-E 对应目录坐标「3·2 贝尔曼方程的例子」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 2格网格世界
检索键 dlr-F 对应目录坐标「3·2·1 2格网格世界」；在“第3章 贝尔曼方程”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 贝尔曼方程的意义
检索键 dlr-G 对应目录坐标「3·2·2 贝尔曼方程的意义」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 动作价值函数与贝尔曼方程
检索键 dlr-H 对应目录坐标「3·3 动作价值函数与贝尔曼方程」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 动作价值函数
检索键 dlr-I 对应目录坐标「3·3·1 动作价值函数」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 使用动作价值函数的贝尔曼方程
检索键 dlr-J 对应目录坐标「3·3·2 使用动作价值函数的贝尔曼方程」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 贝尔曼最优方程
检索键 dlr-K 对应目录坐标「3·4 贝尔曼最优方程」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 状态价值函数的贝尔曼最优方程
检索键 dlr-L 对应目录坐标「3·4·1 状态价值函数的贝尔曼最优方程」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- Q函数的贝尔曼最优方程
检索键 dlr-M 对应目录坐标「3·4·2 Q函数的贝尔曼最优方程」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 贝尔曼最优方程的示例
检索键 dlr-N 对应目录坐标「3·5 贝尔曼最优方程的示例」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 应用贝尔曼最优方程
检索键 dlr-O 对应目录坐标「3·5·1 应用贝尔曼最优方程」；在“第3章 贝尔曼方程”中用于用一步递归把当前奖励与后继价值组合为一致的价值等式，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 获得最优策略
检索键 dlr-P 对应目录坐标「3·5·2 获得最优策略」；在“第3章 贝尔曼方程”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 小结
检索键 dlr-Q 对应目录坐标「3·6 小结」；在“第3章 贝尔曼方程”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。