第4章 动态规划法
在已知环境模型下实现迭代策略评估、策略改善、策略迭代与价值迭代；用转移账本、单故障收益更新轨迹和冻结评估门完成复核。
学习目标
- 能说明“第4章 动态规划法”如何在已知环境模型下实现迭代策略评估、策略改善、策略迭代与价值迭代，并区分2022年原版、2024年中文授权版与当前扩展
- 能先预测“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”会改变哪一条转移、收益/目标、价值、梯度或策略概率，再逐步复核
- 能注入“异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处”，用“转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界”决定接受、回退或拒绝强化学习结论
为什么从这个强化学习问题开始
本章把贝尔曼等式变成反复扫状态的程序，并把策略评估与策略改善分成两个可检查阶段。 “第4章 动态规划法”的贯穿任务是：为“第4章 动态规划法”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。 动手前先写下哪个状态、动作、奖励、收益/目标、价值、梯度、策略概率或评估哈希会先变化；运行后补理由不算预测。
围绕“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”，“第4章 动态规划法”建立参考、故障与恢复路径。只有“第4章 动态规划法”守住“转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界”并交付第4章 动态规划法的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告，奖励曲线或成功轨迹才构成机制证据。
书目、205个原版层级与版本边界
“第4章 动态规划法”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning ❹ ―強化学習編》于2022年4月6日出版、376页、ISBN 9784873119755。“第4章 动态规划法”采用出版社同页给出的10章与附录A至D作为完整目录边界；本站逐项统计10个章标题、57个一级节、128个二级节、4个附录标题和6个附录节，共205个正式目录层级。“第4章 动态规划法”再以出版社官方代码仓库核对实现目录，以官方勘误识别已知错误。
“第4章 动态规划法”没有使用未获授权的原书完整正文，只以出版社完整目录、官方代码和勘误限定范围；中文解释、数值、交互、练习与答案均为独立教学重写。“第4章 动态规划法”的中文授权书目页仅用于核对《深度学习入门4：强化学习》、人民邮电出版社2024年8月、333页和ISBN 9787115649171，不用来证明日文原版正文。“第4章 动态规划法”以2022年日文原版与2024年中文授权版目录为内容边界；当前环境API、后续论文与兼容修正只作带时间标签的独立核验。
“第4章 动态规划法”另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或实验边界；这些资料能验证本页技术事实，不能反向证明原书采用了本站表述。
原版目录层级与实现机制
第4章 动态规划法
↡动态规划法对应原版目录坐标“第4章 动态规划法”，在“第4章 动态规划法”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 1/19。 在“第4章 动态规划法”的坐标1中，目录项「第4章 动态规划法」用于声明本章在环境—转移—目标—更新—评估链中的职责与边界；先冻结环境、策略与随机性，再以原版坐标、输入对象、核心状态、下游接口、反例和时间边界复核，出现只罗列算法名或用当前热点重排原版时撤回结论。
4.1 动态规划法和策略评估
↡动态规划法和策略评估对应原版目录坐标“4·1 动态规划法和策略评估”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 2/19。 目录项「4·1 动态规划法和策略评估」进入“第4章 动态规划法”后要回答第2个机制问题：它怎样把智能体和环境的交互定义为带概率与终止语义的决策过程、改变哪个真实状态、由哪些状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹证明，并如何排除状态遗漏历史信息或把即时奖励误作长期收益。
4.1.1 动态规划法简介
↡动态规划法简介对应原版目录坐标“4·1·1 动态规划法简介”，在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 3/19。 围绕“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”，“第4章 动态规划法”在原版层级3把「4·1·1 动态规划法简介」落实为在已知环境模型上反复执行价值备份和贪心策略改善；复核者先读取模型表、扫描次序、旧新价值、策略概率、变化量、容差与停止轮次，不能接受混用同步与异步更新或未完成评估就声称策略迭代收敛。
4.1.2 尝试迭代策略评估
↡尝试迭代策略评估对应原版目录坐标“4·1·2 尝试迭代策略评估”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 4/19。 对“第4章 动态规划法”而言，目录项「4·1·2 尝试迭代策略评估」的最小强化学习合同是把智能体和环境的交互定义为带概率与终止语义的决策过程，第4次检查保存状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹；若产生状态遗漏历史信息或把即时奖励误作长期收益，就返回同一环境与参数快照。
4.1.3 迭代策略评估的其他实现方式
↡迭代策略评估的其他实现方式对应原版目录坐标“4·1·3 迭代策略评估的其他实现方式”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 5/19。 第5个正式坐标「4·1·3 迭代策略评估的其他实现方式」服务于在已知环境模型下实现迭代策略评估、策略改善、策略迭代与价值迭代，需要以状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹呈现把智能体和环境的交互定义为带概率与终止语义的决策过程；状态遗漏历史信息或把即时奖励误作长期收益会破坏“转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界”。
4.2 解决更大的问题
↡解决更大的问题对应原版目录坐标“4·2 解决更大的问题”，在“第4章 动态规划法”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 6/19。 在“第4章 动态规划法”的坐标6中，目录项「4·2 解决更大的问题」用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同；先冻结环境、策略与随机性，再以原版范围、输入输出、状态、动作、奖励、目标、参数、随机性与反例复核，出现只复述术语或只展示最终平均奖励时撤回结论。
4.2.1 GridWorld类的实现
↡GridWorld类的实现对应原版目录坐标“4·2·1 GridWorld类的实现”，在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 7/19。 目录项「4·2·1 GridWorld类的实现」进入“第4章 动态规划法”后要回答第7个机制问题：它怎样在已知环境模型上反复执行价值备份和贪心策略改善、改变哪个真实状态、由哪些模型表、扫描次序、旧新价值、策略概率、变化量、容差与停止轮次证明，并如何排除混用同步与异步更新或未完成评估就声称策略迭代收敛。
4.2.2 defaultdict的用法
↡defaultdict的用法对应原版目录坐标“4·2·2 defaultdict的用法”，在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 8/19。 围绕“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”，“第4章 动态规划法”在原版层级8把「4·2·2 defaultdict的用法」落实为在已知环境模型上反复执行价值备份和贪心策略改善；复核者先读取模型表、扫描次序、旧新价值、策略概率、变化量、容差与停止轮次，不能接受混用同步与异步更新或未完成评估就声称策略迭代收敛。
4.2.3 迭代策略评估的实现
↡迭代策略评估的实现对应原版目录坐标“4·2·3 迭代策略评估的实现”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 9/19。 对“第4章 动态规划法”而言，目录项「4·2·3 迭代策略评估的实现」的最小强化学习合同是把智能体和环境的交互定义为带概率与终止语义的决策过程，第9次检查保存状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹；若产生状态遗漏历史信息或把即时奖励误作长期收益，就返回同一环境与参数快照。
4.3 策略迭代法
↡策略迭代法对应原版目录坐标“4·3 策略迭代法”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 10/19。 第10个正式坐标「4·3 策略迭代法」服务于在已知环境模型下实现迭代策略评估、策略改善、策略迭代与价值迭代，需要以状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹呈现把智能体和环境的交互定义为带概率与终止语义的决策过程；状态遗漏历史信息或把即时奖励误作长期收益会破坏“转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界”。
4.3.1 策略的改善
↡策略的改善对应原版目录坐标“4·3·1 策略的改善”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 11/19。 在“第4章 动态规划法”的坐标11中，目录项「4·3·1 策略的改善」用于把智能体和环境的交互定义为带概率与终止语义的决策过程；先冻结环境、策略与随机性，再以状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹复核，出现状态遗漏历史信息或把即时奖励误作长期收益时撤回结论。
4.3.2 重复评估和改善
↡重复评估和改善对应原版目录坐标“4·3·2 重复评估和改善”，在“第4章 动态规划法”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 12/19。 目录项「4·3·2 重复评估和改善」进入“第4章 动态规划法”后要回答第12个机制问题：它怎样把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同、改变哪个真实状态、由哪些原版范围、输入输出、状态、动作、奖励、目标、参数、随机性与反例证明，并如何排除只复述术语或只展示最终平均奖励。
4.4 实现策略迭代法
↡实现策略迭代法对应原版目录坐标“4·4 实现策略迭代法”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 13/19。 围绕“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”，“第4章 动态规划法”在原版层级13把「4·4 实现策略迭代法」落实为把智能体和环境的交互定义为带概率与终止语义的决策过程；复核者先读取状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹，不能接受状态遗漏历史信息或把即时奖励误作长期收益。
4.4.1 改善策略
↡改善策略对应原版目录坐标“4·4·1 改善策略”，在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 14/19。 对“第4章 动态规划法”而言，目录项「4·4·1 改善策略」的最小强化学习合同是把智能体和环境的交互定义为带概率与终止语义的决策过程，第14次检查保存状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹；若产生状态遗漏历史信息或把即时奖励误作长期收益，就返回同一环境与参数快照。
4.4.2 重复评估和改善
↡重复评估和改善对应原版目录坐标“4·4·2 重复评估和改善”，在“第4章 动态规划法”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 15/19。 第15个正式坐标「4·4·2 重复评估和改善」服务于在已知环境模型下实现迭代策略评估、策略改善、策略迭代与价值迭代，需要以原版范围、输入输出、状态、动作、奖励、目标、参数、随机性与反例呈现把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同；只复述术语或只展示最终平均奖励会破坏“转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界”。
4.5 价值迭代法
↡价值迭代法对应原版目录坐标“4·5 价值迭代法”，在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 16/19。 在“第4章 动态规划法”的坐标16中，目录项「4·5 价值迭代法」用于在已知环境模型上反复执行价值备份和贪心策略改善；先冻结环境、策略与随机性，再以模型表、扫描次序、旧新价值、策略概率、变化量、容差与停止轮次复核，出现混用同步与异步更新或未完成评估就声称策略迭代收敛时撤回结论。
4.5.1 价值迭代法的推导
↡价值迭代法的推导对应原版目录坐标“4·5·1 价值迭代法的推导”，在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 17/19。 目录项「4·5·1 价值迭代法的推导」进入“第4章 动态规划法”后要回答第17个机制问题：它怎样在已知环境模型上反复执行价值备份和贪心策略改善、改变哪个真实状态、由哪些模型表、扫描次序、旧新价值、策略概率、变化量、容差与停止轮次证明，并如何排除混用同步与异步更新或未完成评估就声称策略迭代收敛。
4.5.2 价值迭代法的实现
↡价值迭代法的实现对应原版目录坐标“4·5·2 价值迭代法的实现”，在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 18/19。 围绕“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”，“第4章 动态规划法”在原版层级18把「4·5·2 价值迭代法的实现」落实为在已知环境模型上反复执行价值备份和贪心策略改善；复核者先读取模型表、扫描次序、旧新价值、策略概率、变化量、容差与停止轮次，不能接受混用同步与异步更新或未完成评估就声称策略迭代收敛。
4.6 小结
↡小结对应原版目录坐标“4·6 小结”，在“第4章 动态规划法”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 19/19。 对“第4章 动态规划法”而言，目录项「4·6 小结」的最小强化学习合同是声明本章在环境—转移—目标—更新—评估链中的职责与边界，第19次检查保存原版坐标、输入对象、核心状态、下游接口、反例和时间边界；若产生只罗列算法名或用当前热点重排原版，就返回同一环境与参数快照。
先预测，再操作三个章节专属强化学习实验
1. 状态—动作—奖励转移账本
固定“为“第4章 动态规划法”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。”，在参考、单故障和边界探针间切换，逐阶段查看“加载模型、扫描状态、计算备份、改善策略、判断收敛”的输入对象、唯一动作、输出状态和必留证据。
强化学习状态—动作—奖励账本
选择运行情形，逐阶段核对真实对象与状态变化
怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？
环境与策略设置
第4章 动态规划法使用冻结环境、固定策略版本、固定预算和种子，不启用故障。
运行前预测
第4章 动态规划法应沿“加载模型 → 扫描状态 → 计算备份 → 改善策略 → 判断收敛”得到可重放的转移、目标、更新与评估轨迹。
适用与拒绝边界
第4章 动态规划法的参考运行只证明声明环境与预算内的机制，不外推到未测任务。
进入本阶段的对象与状态
第4章 动态规划法在“加载模型”读取环境版本、状态/动作空间、奖励、终止语义、初始分布、策略与随机种子。
本阶段唯一允许的动作
第4章 动态规划法在“加载模型”阶段冻结本页问题所需的任务快照，不运行训练或评估。
离开本阶段的真实状态
第4章 动态规划法在“加载模型”阶段产出可哈希的环境与策略前置状态。
必须保存的可复核证据
第4章 动态规划法在“加载模型”阶段保存环境配置、空间定义、种子、参数版本与允许读取的信息。
原版目录坐标：第4章 动态规划法、4.1 动态规划法和策略评估、4.1.1 动态规划法简介、4.1.2 尝试迭代策略评估、4.1.3 迭代策略评估的其他实现方式、4.2 解决更大的问题、4.2.1 GridWorld类的实现、4.2.2 defaultdict的用法、4.2.3 迭代策略评估的实现、4.3 策略迭代法、4.3.1 策略的改善、4.3.2 重复评估和改善、4.4 实现策略迭代法、4.4.1 改善策略、4.4.2 重复评估和改善、4.5 价值迭代法、4.5.1 价值迭代法的推导、4.5.2 价值迭代法的实现、4.6 小结
第4章 动态规划法的可重放实现协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 加载模型 | 在“第4章 动态规划法”执行加载模型，只改变声明的环境、转移、目标、价值、参数或评估状态 | 环境/空间定义、奖励/终止语义、策略版本、初值与种子 | 任务或随机性不可追溯 |
| 扫描状态 | 在“第4章 动态规划法”执行扫描状态，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处 |
| 计算备份 | 在“第4章 动态规划法”执行计算备份，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处 |
| 改善策略 | 在“第4章 动态规划法”执行改善策略，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处 |
| 判断收敛 | 在“第4章 动态规划法”执行判断收敛，只改变声明的环境、转移、目标、价值、参数或评估状态 | 冻结评估、逐种子分布、反例、2022/当前边界与参数哈希 | 评估仍写参数或无法重放 |
unit: "dlr-04"
question: "怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？"
scenario: "为“第4章 动态规划法”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。"
stages: ["加载模型", "扫描状态", "计算备份", "改善策略", "判断收敛"]
invariant: "转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界"
fault: "异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处"
evidence: "第4章 动态规划法的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告"
reset: restore_environment_policy_parameters_rng_trace_gates_and_artifact该协议要求“第4章 动态规划法”在相同环境、状态/动作语义、奖励、终止规则、策略版本、初值、预算和随机序列下重放。重置“第4章 动态规划法”后若案例、阶段、轨迹模式、步骤、验收门或证据包没有回到基线，交互状态已经污染比较。
本页回顾
掌握“第4章 动态规划法”不是背诵算法名或最终奖励，而是能围绕“怎样区分一次状态扫描、一次完整评估和一次策略改善，并用停止条件证明算法结束？”重建环境、转移、收益/目标、价值或策略更新、随机性与冻结评估证据，并用“转移模型、扫描方式、旧新价值快照、贪心改善与收敛容差保持一致；第4章 动态规划法的结论不得越过原版目录、实验数据和评估边界”拒绝“异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处”。“第4章 动态规划法”最终交付为第4章 动态规划法的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告
练习与答案
练习
- 问题 1：强化学习实验合同。 “第4章 动态规划法”为什么必须先冻结环境、空间语义、奖励、终止规则、策略版本、初值、预算和随机种子？
- 问题 2：目录逐项覆盖。 怎样证明“第4章 动态规划法”的原版目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“第4章 动态规划法”中的“异步更新与同步更新混用，却把两次扫描的中间值直接逐项比较；在第4章 动态规划法验收中只注入这一处”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 动态规划法
检索键 dlr-A 对应目录坐标「第4章 动态规划法」；在“第4章 动态规划法”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 动态规划法和策略评估
检索键 dlr-B 对应目录坐标「4·1 动态规划法和策略评估」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 动态规划法简介
检索键 dlr-C 对应目录坐标「4·1·1 动态规划法简介」；在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 尝试迭代策略评估
检索键 dlr-D 对应目录坐标「4·1·2 尝试迭代策略评估」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 迭代策略评估的其他实现方式
检索键 dlr-E 对应目录坐标「4·1·3 迭代策略评估的其他实现方式」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 解决更大的问题
检索键 dlr-F 对应目录坐标「4·2 解决更大的问题」；在“第4章 动态规划法”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- GridWorld类的实现
检索键 dlr-G 对应目录坐标「4·2·1 GridWorld类的实现」；在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- defaultdict的用法
检索键 dlr-H 对应目录坐标「4·2·2 defaultdict的用法」；在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 迭代策略评估的实现
检索键 dlr-I 对应目录坐标「4·2·3 迭代策略评估的实现」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 策略迭代法
检索键 dlr-J 对应目录坐标「4·3 策略迭代法」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 策略的改善
检索键 dlr-K 对应目录坐标「4·3·1 策略的改善」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 重复评估和改善
检索键 dlr-L 对应目录坐标「4·3·2 重复评估和改善」；在“第4章 动态规划法”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 实现策略迭代法
检索键 dlr-M 对应目录坐标「4·4 实现策略迭代法」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 改善策略
检索键 dlr-N 对应目录坐标「4·4·1 改善策略」；在“第4章 动态规划法”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 重复评估和改善
检索键 dlr-O 对应目录坐标「4·4·2 重复评估和改善」；在“第4章 动态规划法”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 价值迭代法
检索键 dlr-P 对应目录坐标「4·5 价值迭代法」；在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 价值迭代法的推导
检索键 dlr-Q 对应目录坐标「4·5·1 价值迭代法的推导」；在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 价值迭代法的实现
检索键 dlr-R 对应目录坐标「4·5·2 价值迭代法的实现」；在“第4章 动态规划法”中用于在已知环境模型上反复执行价值备份和贪心策略改善，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 小结
检索键 dlr-S 对应目录坐标「4·6 小结」；在“第4章 动态规划法”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。