第7章 策略梯度方法
从轨迹概率与期望回报推导策略梯度、REINFORCE和actor-critic更新；用环境合同、更新轨迹和独立评估门交付轨迹概率、回报、优势、策略梯度与参数差
学习目标
- 能说明“第7章 策略梯度方法”如何从轨迹概率与期望回报推导策略梯度、REINFORCE和actor-critic更新，并区分原版目录、作者代码映射、独立技术来源和本站重写
- 能先预测“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”会改变哪一个环境、轨迹、回报、目标、策略或评估状态，再操作三类交互证据
- 能只注入“用更新后的策略概率重算旧轨迹的对数概率”，定位首个偏离“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”的状态，并从同一快照完成恢复
为什么从这个问题开始
“第7章 策略梯度方法”围绕“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”建立贯穿任务：用固定轨迹复算一次策略梯度更新。先写下哪个环境、轨迹、回报、目标、策略或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”并交付轨迹概率、回报、优势、策略梯度与参数差，训练回报、策略价值、搜索统计或应用收益才构成机制证据。
原版书目、272个正式坐标与访问边界
“第7章 策略梯度方法”以作者官方代码仓库核对王树森、黎彧君、张志华著《深度强化学习》的第1至19章及主要算法—实现映射，以馆藏书目核对人民邮电出版社、2022年11月、294页和ISBN 9787115600691，再以发行数字版完整目录核对5个部分、19章、233个编号节/小节、附录A、附录B与B.1至B.13，合计272个正式目录层级。
作者仓库验证章节和算法实现确实对应，但仓库页面未提供可据以复用代码、图表或书稿的明确许可；发行数字版用于核对目录范围，不作为复制正文的授权。“第7章 策略梯度方法”不翻译、摘编或改写原书正文，也不复制仓库代码；中文讲解、状态轨迹、反例、交互、练习与答案均为独立教学重写。
本页独立核对 1、本页独立核对 2只用于独立核对本页算法、环境接口或实验边界，不能反向证明原书使用本站表述。Gymnasium、PyTorch、PettingZoo等当前API行为按2026-07-30核对并显式视为当前实现，不倒填为2022年原书内容。
原版目录层级与可验证机制
第三部分 策略学习
↡策略学习对应正式目录坐标“第三部分 策略学习”，在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 1/17。 原版目录键 第三部分 策略学习。在“第7章 策略梯度方法”的第1个正式坐标中，「第三部分 策略学习」通过建立环境、轨迹、终止、策略、回报和价值的时间合同推进策略目标、轨迹概率与梯度；复核者保存转移记录、策略概率、终止/截断标记、回报与价值残差，出现混淆状态与观测、终止与截断或行为策略与目标策略就撤回结论。
第7章 策略梯度方法
↡策略梯度方法对应正式目录坐标“第7章 策略梯度方法”，在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 2/17。 原版目录键 第7章 策略梯度方法。围绕“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”，“第7章 策略梯度方法”在坐标2把「第7章 策略梯度方法」落实为建立环境、轨迹、终止、策略、回报和价值的时间合同；只有转移记录、策略概率、终止/截断标记、回报与价值残差可重放且反例排除混淆状态与观测、终止与截断或行为策略与目标策略，本节点才算掌握。
7·1 策略网络
↡策略网络对应正式目录坐标“7.1 策略网络”，在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 3/17。 原版目录键 7.1 策略网络。“第7章 策略梯度方法”的目录节点3「7·1 策略网络」不能停在术语复述：它要建立环境、轨迹、终止、策略、回报和价值的时间合同，交付转移记录、策略概率、终止/截断标记、回报与价值残差，并把混淆状态与观测、终止与截断或行为策略与目标策略设为单一反事实。
7·2 策略学习的目标函数
↡策略学习的目标函数对应正式目录坐标“7.2 策略学习的目标函数”，在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 4/17。 原版目录键 7.2 策略学习的目标函数。对“第7章 策略梯度方法”而言，「7·2 策略学习的目标函数」在第4次检查中改变可观察状态，因为它负责建立环境、轨迹、终止、策略、回报和价值的时间合同；转移记录、策略概率、终止/截断标记、回报与价值残差必须与“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”对齐，不能接受混淆状态与观测、终止与截断或行为策略与目标策略。
7·3 策略梯度定理
↡策略梯度定理对应正式目录坐标“7.3 策略梯度定理”，在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 5/17。 原版目录键 7.3 策略梯度定理。在“第7章 策略梯度方法”的第5个正式坐标中，「7·3 策略梯度定理」通过建立环境、轨迹、终止、策略、回报和价值的时间合同推进策略目标、轨迹概率与梯度；复核者保存转移记录、策略概率、终止/截断标记、回报与价值残差，出现混淆状态与观测、终止与截断或行为策略与目标策略就撤回结论。
7·3·1 简化证明
↡简化证明对应正式目录坐标“7.3.1 简化证明”，在“第7章 策略梯度方法”中用于把“简化证明”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 6/17。 原版目录键 7.3.1 简化证明。围绕“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”，“第7章 策略梯度方法”在坐标6把「7·3·1 简化证明」落实为把“简化证明”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链；只有第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估可重放且反例排除只复述“简化证明”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。
7·3·2 严格证明
↡严格证明对应正式目录坐标“7.3.2 严格证明”，在“第7章 策略梯度方法”中用于把“严格证明”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 7/17。 原版目录键 7.3.2 严格证明。“第7章 策略梯度方法”的目录节点7「7·3·2 严格证明」不能停在术语复述：它要把“严格证明”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，交付第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估，并把只复述“严格证明”名称而没有可观察状态、单一故障和恢复证据设为单一反事实。
7·3·3 近似策略梯度
↡近似策略梯度对应正式目录坐标“7.3.3 近似策略梯度”，在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 8/17。 原版目录键 7.3.3 近似策略梯度。对“第7章 策略梯度方法”而言，「7·3·3 近似策略梯度」在第8次检查中改变可观察状态，因为它负责建立环境、轨迹、终止、策略、回报和价值的时间合同；转移记录、策略概率、终止/截断标记、回报与价值残差必须与“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”对齐，不能接受混淆状态与观测、终止与截断或行为策略与目标策略。
7·4 REINFORCE
↡REINFORCE对应正式目录坐标“7.4 REINFORCE”，在“第7章 策略梯度方法”中用于从轨迹概率、回报、优势、概率比与KL约束推导策略更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 9/17。 原版目录键 7.4 REINFORCE。在“第7章 策略梯度方法”的第9个正式坐标中，「7·4 REINFORCE」通过从轨迹概率、回报、优势、概率比与KL约束推导策略更新推进策略目标、轨迹概率与梯度；复核者保存动作对数概率、回报、基线、优势、梯度、KL与接受规则，出现用新策略重算旧轨迹、动作依赖基线或越过置信域就撤回结论。
7·4·1 简化推导
↡简化推导对应正式目录坐标“7.4.1 简化推导”，在“第7章 策略梯度方法”中用于把“简化推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 10/17。 原版目录键 7.4.1 简化推导。围绕“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”，“第7章 策略梯度方法”在坐标10把「7·4·1 简化推导」落实为把“简化推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链；只有第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估可重放且反例排除只复述“简化推导”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。
7·4·2 训练流程
↡训练流程对应正式目录坐标“7.4.2 训练流程”，在“第7章 策略梯度方法”中用于把“训练流程”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 11/17。 原版目录键 7.4.2 训练流程。“第7章 策略梯度方法”的目录节点11「7·4·2 训练流程」不能停在术语复述：它要把“训练流程”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，交付第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估，并把只复述“训练流程”名称而没有可观察状态、单一故障和恢复证据设为单一反事实。
7·4·3 严格推导
↡严格推导对应正式目录坐标“7.4.3 严格推导”，在“第7章 策略梯度方法”中用于把“严格推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 12/17。 原版目录键 7.4.3 严格推导。对“第7章 策略梯度方法”而言，「7·4·3 严格推导」在第12次检查中改变可观察状态，因为它负责把“严格推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链；第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估必须与“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”对齐，不能接受只复述“严格推导”名称而没有可观察状态、单一故障和恢复证据。
7·5 actor-critic
↡actor-critic对应正式目录坐标“7.5 actor-critic”，在“第7章 策略梯度方法”中用于从轨迹概率、回报、优势、概率比与KL约束推导策略更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 13/17。 原版目录键 7.5 actor-critic。在“第7章 策略梯度方法”的第13个正式坐标中，「7·5 actor-critic」通过从轨迹概率、回报、优势、概率比与KL约束推导策略更新推进策略目标、轨迹概率与梯度；复核者保存动作对数概率、回报、基线、优势、梯度、KL与接受规则，出现用新策略重算旧轨迹、动作依赖基线或越过置信域就撤回结论。
7·5·1 价值网络
↡价值网络对应正式目录坐标“7.5.1 价值网络”，在“第7章 策略梯度方法”中用于把“价值网络”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 14/17。 原版目录键 7.5.1 价值网络。围绕“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”，“第7章 策略梯度方法”在坐标14把「7·5·1 价值网络」落实为把“价值网络”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链；只有第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估可重放且反例排除只复述“价值网络”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。
7·5·2 算法推导
↡算法推导对应正式目录坐标“7.5.2 算法推导”，在“第7章 策略梯度方法”中用于把“算法推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 15/17。 原版目录键 7.5.2 算法推导。“第7章 策略梯度方法”的目录节点15「7·5·2 算法推导」不能停在术语复述：它要把“算法推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，交付第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估，并把只复述“算法推导”名称而没有可观察状态、单一故障和恢复证据设为单一反事实。
7·5·3 训练流程
↡训练流程对应正式目录坐标“7.5.3 训练流程”，在“第7章 策略梯度方法”中用于把“训练流程”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 16/17。 原版目录键 7.5.3 训练流程。对“第7章 策略梯度方法”而言，「7·5·3 训练流程」在第16次检查中改变可观察状态，因为它负责把“训练流程”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链；第7章 策略梯度方法的输入角色、中间状态、策略快照、反例与独立评估必须与“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”对齐，不能接受只复述“训练流程”名称而没有可观察状态、单一故障和恢复证据。
7·5·4 用目标网络改进训练
↡用目标网络改进训练对应正式目录坐标“7.5.4 用目标网络改进训练”，在“第7章 策略梯度方法”中用于构造可复算的TD目标并区分同策略、异策略、采样和目标网络角色，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 17/17。 原版目录键 7.5.4 用目标网络改进训练。在“第7章 策略梯度方法”的第17个正式坐标中，「7·5·4 用目标网络改进训练」通过构造可复算的TD目标并区分同策略、异策略、采样和目标网络角色推进策略目标、轨迹概率与梯度；复核者保存回放索引、下一动作、TD目标、误差、优先级和参数快照，出现目标网络泄漏、策略角色错位或多技巧同时变化就撤回结论。
先预测，再操作三个章专属实验
1. 环境与轨迹合同
为“第7章 策略梯度方法”选择正式目录坐标，在参考合同与单一反事实间切换，逐角色核对输入、状态变化、证据与即时裁决。
环境—轨迹合同
第7章 策略梯度方法
选择正式目录坐标，冻结环境角色，再定位参考轨迹与单一反事实的首个分岔。
合同 1/4
第7章 策略梯度方法 · 环境与角色
- 输入角色
- 用固定轨迹复算一次策略梯度更新
- 状态变化
- 冻结策略目标、轨迹概率与梯度所需的环境版本、观测/状态、动作、奖励和数据角色
- 应留证据
- 第7章 策略梯度方法的环境合同、策略快照与基线轨迹
- 即时裁决
- 第7章 策略梯度方法的角色、时间索引、shape、终止和可见性没有错位
第7章 策略梯度方法的可重放协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 第7章 策略梯度方法 · 环境与角色 | 冻结策略目标、轨迹概率与梯度所需的环境版本、观测/状态、动作、奖励和数据角色 | 第7章 策略梯度方法的环境合同、策略快照与基线轨迹 | 未满足“第7章 策略梯度方法的角色、时间索引、shape、终止和可见性没有错位” |
| 第7章 策略梯度方法 · 回报与目标 | 按从轨迹概率与期望回报推导策略梯度、REINFORCE和actor-critic更新构造回报、目标、估计量或搜索统计 | 第7章 策略梯度方法的逐步回报、目标分量与中间状态 | 未满足“第7章 策略梯度方法的目标可由同一轨迹、公式和随机状态复算” |
| 第7章 策略梯度方法 · 更新与策略 | 执行一次受控更新并记录策略、价值、梯度或联合决策的变化 | 第7章 策略梯度方法的更新前后差、首个分岔和恢复路径 | 未满足“第7章 策略梯度方法没有把代理损失、单次回报或训练内统计当作最终结论” |
| 第7章 策略梯度方法 · 独立评估 | 重放基线、单故障、恢复和边界案例 | 第7章 策略梯度方法的接受、回退或拒绝理由 | 未满足“第7章 策略梯度方法满足“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”” |
unit: "drl-07"
question: "采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？"
scenario: "用固定轨迹复算一次策略梯度更新"
invariant: "行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应"
fault: "用更新后的策略概率重算旧轨迹的对数概率"
evidence: "轨迹概率、回报、优势、策略梯度与参数差"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact“第7章 策略梯度方法”要求从同一环境、轨迹、策略/对手版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、合同模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。
本页回顾
掌握“第7章 策略梯度方法”不是背算法名或抄训练循环，而是围绕“采样动作的对数概率、回报与价值估计怎样形成无歧义的梯度样本？”重建环境、轨迹、回报、目标、更新、策略/对手快照与独立评估，并用“行为策略快照、动作对数概率、回报、价值目标与梯度符号相互对应”拒绝“用更新后的策略概率重算旧轨迹的对数概率”。最终交付为轨迹概率、回报、优势、策略梯度与参数差。
练习与答案
练习
- 问题 1：实验合同。 “第7章 策略梯度方法”为什么必须先冻结环境、轨迹、策略/对手版本、预算、随机性和评估口径？
- 问题 2：目录逐项覆盖。 怎样证明“第7章 策略梯度方法”的正式目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“用更新后的策略概率重算旧轨迹的对数概率”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 策略学习
检索键 drl-A 对应正式目录坐标「第三部分 策略学习」；在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 策略梯度方法
检索键 drl-B 对应正式目录坐标「第7章 策略梯度方法」；在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 策略网络
检索键 drl-C 对应正式目录坐标「7·1 策略网络」；在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 策略学习的目标函数
检索键 drl-D 对应正式目录坐标「7·2 策略学习的目标函数」；在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 策略梯度定理
检索键 drl-E 对应正式目录坐标「7·3 策略梯度定理」；在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 简化证明
检索键 drl-F 对应正式目录坐标「7·3·1 简化证明」；在“第7章 策略梯度方法”中用于把“简化证明”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 严格证明
检索键 drl-G 对应正式目录坐标「7·3·2 严格证明」；在“第7章 策略梯度方法”中用于把“严格证明”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 近似策略梯度
检索键 drl-H 对应正式目录坐标「7·3·3 近似策略梯度」；在“第7章 策略梯度方法”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- REINFORCE
检索键 drl-I 对应正式目录坐标「7·4 REINFORCE」；在“第7章 策略梯度方法”中用于从轨迹概率、回报、优势、概率比与KL约束推导策略更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 简化推导
检索键 drl-J 对应正式目录坐标「7·4·1 简化推导」；在“第7章 策略梯度方法”中用于把“简化推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 训练流程
检索键 drl-K 对应正式目录坐标「7·4·2 训练流程」；在“第7章 策略梯度方法”中用于把“训练流程”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 严格推导
检索键 drl-L 对应正式目录坐标「7·4·3 严格推导」；在“第7章 策略梯度方法”中用于把“严格推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- actor-critic
检索键 drl-M 对应正式目录坐标「7·5 actor-critic」；在“第7章 策略梯度方法”中用于从轨迹概率、回报、优势、概率比与KL约束推导策略更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 价值网络
检索键 drl-N 对应正式目录坐标「7·5·1 价值网络」；在“第7章 策略梯度方法”中用于把“价值网络”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 算法推导
检索键 drl-O 对应正式目录坐标「7·5·2 算法推导」；在“第7章 策略梯度方法”中用于把“算法推导”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 训练流程
检索键 drl-P 对应正式目录坐标「7·5·3 训练流程」；在“第7章 策略梯度方法”中用于把“训练流程”放进策略目标、轨迹概率与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 用目标网络改进训练
检索键 drl-Q 对应正式目录坐标「7·5·4 用目标网络改进训练」；在“第7章 策略梯度方法”中用于构造可复算的TD目标并区分同策略、异策略、采样和目标网络角色，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。