第3章强化学习基本概念

用状态、动作、奖励、转移、策略、回报与价值函数建立MDP轨迹合同；用环境合同、更新轨迹和独立评估门交付环境合同、轨迹表、折扣回报与价值复算

学习目标

能说明“第3章强化学习基本概念”如何用状态、动作、奖励、转移、策略、回报与价值函数建立MDP轨迹合同，并区分原版目录、作者代码映射、独立技术来源和本站重写
能先预测“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”会改变哪一个环境、轨迹、回报、目标、策略或评估状态，再操作三类交互证据
能只注入“把时间上限截断当作任务终止并错误清零自举项”，定位首个偏离“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”的状态，并从同一快照完成恢复

为什么从这个问题开始

“第3章强化学习基本概念”围绕“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”建立贯穿任务：重放固定策略在小型环境中的完整轨迹。先写下哪个环境、轨迹、回报、目标、策略或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”并交付环境合同、轨迹表、折扣回报与价值复算，训练回报、策略价值、搜索统计或应用收益才构成机制证据。

原版书目、272个正式坐标与访问边界

“第3章强化学习基本概念”以作者官方代码仓库核对王树森、黎彧君、张志华著《深度强化学习》的第1至19章及主要算法—实现映射，以馆藏书目核对人民邮电出版社、2022年11月、294页和ISBN 9787115600691，再以发行数字版完整目录核对5个部分、19章、233个编号节/小节、附录A、附录B与B.1至B.13，合计272个正式目录层级。

作者仓库验证章节和算法实现确实对应，但仓库页面未提供可据以复用代码、图表或书稿的明确许可；发行数字版用于核对目录范围，不作为复制正文的授权。“第3章强化学习基本概念”不翻译、摘编或改写原书正文，也不复制仓库代码；中文讲解、状态轨迹、反例、交互、练习与答案均为独立教学重写。

本页独立核对 1、本页独立核对 2只用于独立核对本页算法、环境接口或实验边界，不能反向证明原书使用本站表述。Gymnasium、PyTorch、PettingZoo等当前API行为按2026-07-30核对并显式视为当前实现，不倒填为2022年原书内容。

原版目录层级与可验证机制

第3章强化学习基本概念

正式坐标 1/16。 原版目录键 第3章强化学习基本概念。在“第3章强化学习基本概念”的第1个正式坐标中，「第3章强化学习基本概念」通过把“强化学习基本概念”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链推进MDP角色、轨迹与价值；复核者保存第3章强化学习基本概念的输入角色、中间状态、策略快照、反例与独立评估，出现只复述“强化学习基本概念”名称而没有可观察状态、单一故障和恢复证据就撤回结论。

3·1 马尔可夫决策过程

正式坐标 2/16。 原版目录键 3.1 马尔可夫决策过程。围绕“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”，“第3章强化学习基本概念”在坐标2把「3·1 马尔可夫决策过程」落实为建立环境、轨迹、终止、策略、回报和价值的时间合同；只有转移记录、策略概率、终止/截断标记、回报与价值残差可重放且反例排除混淆状态与观测、终止与截断或行为策略与目标策略，本节点才算掌握。

3·1·1 状态、动作、奖励

正式坐标 3/16。 原版目录键 3.1.1 状态、动作、奖励。“第3章强化学习基本概念”的目录节点3「3·1·1 状态、动作、奖励」不能停在术语复述：它要建立环境、轨迹、终止、策略、回报和价值的时间合同，交付转移记录、策略概率、终止/截断标记、回报与价值残差，并把混淆状态与观测、终止与截断或行为策略与目标策略设为单一反事实。

3·1·2 状态转移

正式坐标 4/16。 原版目录键 3.1.2 状态转移。对“第3章强化学习基本概念”而言，「3·1·2 状态转移」在第4次检查中改变可观察状态，因为它负责建立环境、轨迹、终止、策略、回报和价值的时间合同；转移记录、策略概率、终止/截断标记、回报与价值残差必须与“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”对齐，不能接受混淆状态与观测、终止与截断或行为策略与目标策略。

3·2 策略

正式坐标 5/16。 原版目录键 3.2 策略。在“第3章强化学习基本概念”的第5个正式坐标中，「3·2 策略」通过建立环境、轨迹、终止、策略、回报和价值的时间合同推进MDP角色、轨迹与价值；复核者保存转移记录、策略概率、终止/截断标记、回报与价值残差，出现混淆状态与观测、终止与截断或行为策略与目标策略就撤回结论。

3·3 随机性

正式坐标 6/16。 原版目录键 3.3 随机性。围绕“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”，“第3章强化学习基本概念”在坐标6把「3·3 随机性」落实为把“随机性”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链；只有第3章强化学习基本概念的输入角色、中间状态、策略快照、反例与独立评估可重放且反例排除只复述“随机性”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。

3·4 回报与折扣回报

正式坐标 7/16。 原版目录键 3.4 回报与折扣回报。“第3章强化学习基本概念”的目录节点7「3·4 回报与折扣回报」不能停在术语复述：它要建立环境、轨迹、终止、策略、回报和价值的时间合同，交付转移记录、策略概率、终止/截断标记、回报与价值残差，并把混淆状态与观测、终止与截断或行为策略与目标策略设为单一反事实。

3·4·1 回报

正式坐标 8/16。 原版目录键 3.4.1 回报。对“第3章强化学习基本概念”而言，「3·4·1 回报」在第8次检查中改变可观察状态，因为它负责建立环境、轨迹、终止、策略、回报和价值的时间合同；转移记录、策略概率、终止/截断标记、回报与价值残差必须与“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”对齐，不能接受混淆状态与观测、终止与截断或行为策略与目标策略。

3·4·2 折扣回报

正式坐标 9/16。 原版目录键 3.4.2 折扣回报。在“第3章强化学习基本概念”的第9个正式坐标中，「3·4·2 折扣回报」通过建立环境、轨迹、终止、策略、回报和价值的时间合同推进MDP角色、轨迹与价值；复核者保存转移记录、策略概率、终止/截断标记、回报与价值残差，出现混淆状态与观测、终止与截断或行为策略与目标策略就撤回结论。

3·4·3 回报中的随机性

正式坐标 10/16。 原版目录键 3.4.3 回报中的随机性。围绕“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”，“第3章强化学习基本概念”在坐标10把「3·4·3 回报中的随机性」落实为建立环境、轨迹、终止、策略、回报和价值的时间合同；只有转移记录、策略概率、终止/截断标记、回报与价值残差可重放且反例排除混淆状态与观测、终止与截断或行为策略与目标策略，本节点才算掌握。

3·4·4 有限期MDP和无限期MDP

正式坐标 11/16。 原版目录键 3.4.4 有限期MDP和无限期MDP。“第3章强化学习基本概念”的目录节点11「3·4·4 有限期MDP和无限期MDP」不能停在术语复述：它要把“有限期MDP和无限期MDP”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链，交付第3章强化学习基本概念的输入角色、中间状态、策略快照、反例与独立评估，并把只复述“有限期MDP和无限期MDP”名称而没有可观察状态、单一故障和恢复证据设为单一反事实。

3·5 价值函数

正式坐标 12/16。 原版目录键 3.5 价值函数。对“第3章强化学习基本概念”而言，「3·5 价值函数」在第12次检查中改变可观察状态，因为它负责建立环境、轨迹、终止、策略、回报和价值的时间合同；转移记录、策略概率、终止/截断标记、回报与价值残差必须与“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”对齐，不能接受混淆状态与观测、终止与截断或行为策略与目标策略。

3·5·1 动作价值函数

正式坐标 13/16。 原版目录键 3.5.1 动作价值函数。在“第3章强化学习基本概念”的第13个正式坐标中，「3·5·1 动作价值函数」通过建立环境、轨迹、终止、策略、回报和价值的时间合同推进MDP角色、轨迹与价值；复核者保存转移记录、策略概率、终止/截断标记、回报与价值残差，出现混淆状态与观测、终止与截断或行为策略与目标策略就撤回结论。

3·5·2 最优动作价值函数

正式坐标 14/16。 原版目录键 3.5.2 最优动作价值函数。围绕“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”，“第3章强化学习基本概念”在坐标14把「3·5·2 最优动作价值函数」落实为建立环境、轨迹、终止、策略、回报和价值的时间合同；只有转移记录、策略概率、终止/截断标记、回报与价值残差可重放且反例排除混淆状态与观测、终止与截断或行为策略与目标策略，本节点才算掌握。

3·5·3 状态价值函数

正式坐标 15/16。 原版目录键 3.5.3 状态价值函数。“第3章强化学习基本概念”的目录节点15「3·5·3 状态价值函数」不能停在术语复述：它要建立环境、轨迹、终止、策略、回报和价值的时间合同，交付转移记录、策略概率、终止/截断标记、回报与价值残差，并把混淆状态与观测、终止与截断或行为策略与目标策略设为单一反事实。

3·6 实验环境：OpenAI Gym

正式坐标 16/16。 原版目录键 3.6 实验环境：OpenAI Gym。对“第3章强化学习基本概念”而言，「3·6 实验环境：OpenAI Gym」在第16次检查中改变可观察状态，因为它负责建立环境、轨迹、终止、策略、回报和价值的时间合同；转移记录、策略概率、终止/截断标记、回报与价值残差必须与“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”对齐，不能接受混淆状态与观测、终止与截断或行为策略与目标策略。

先预测，再操作三个章专属实验

分步1 / 3

1. 环境与轨迹合同

为“第3章强化学习基本概念”选择正式目录坐标，在参考合同与单一反事实间切换，逐角色核对输入、状态变化、证据与即时裁决。

环境—轨迹合同

第3章强化学习基本概念

选择正式目录坐标，冻结环境角色，再定位参考轨迹与单一反事实的首个分岔。

正式目录坐标

合同 1/4

第3章强化学习基本概念 · 环境与角色

输入角色: 重放固定策略在小型环境中的完整轨迹
状态变化: 冻结MDP角色、轨迹与价值所需的环境版本、观测/状态、动作、奖励和数据角色
应留证据: 第3章强化学习基本概念的环境合同、策略快照与基线轨迹
即时裁决: 第3章强化学习基本概念的角色、时间索引、shape、终止和可见性没有错位

第3章强化学习基本概念的可重放协议

阶段	允许动作	必留证据	拒绝条件
第3章强化学习基本概念 · 环境与角色	冻结MDP角色、轨迹与价值所需的环境版本、观测/状态、动作、奖励和数据角色	第3章强化学习基本概念的环境合同、策略快照与基线轨迹	未满足“第3章强化学习基本概念的角色、时间索引、shape、终止和可见性没有错位”
第3章强化学习基本概念 · 回报与目标	按用状态、动作、奖励、转移、策略、回报与价值函数建立MDP轨迹合同构造回报、目标、估计量或搜索统计	第3章强化学习基本概念的逐步回报、目标分量与中间状态	未满足“第3章强化学习基本概念的目标可由同一轨迹、公式和随机状态复算”
第3章强化学习基本概念 · 更新与策略	执行一次受控更新并记录策略、价值、梯度或联合决策的变化	第3章强化学习基本概念的更新前后差、首个分岔和恢复路径	未满足“第3章强化学习基本概念没有把代理损失、单次回报或训练内统计当作最终结论”
第3章强化学习基本概念 · 独立评估	重放基线、单故障、恢复和边界案例	第3章强化学习基本概念的接受、回退或拒绝理由	未满足“第3章强化学习基本概念满足“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致””

unit: "drl-03"
question: "一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？"
scenario: "重放固定策略在小型环境中的完整轨迹"
invariant: "状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致"
fault: "把时间上限截断当作任务终止并错误清零自举项"
evidence: "环境合同、轨迹表、折扣回报与价值复算"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact

“第3章强化学习基本概念”要求从同一环境、轨迹、策略/对手版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、合同模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。

本页回顾

掌握“第3章强化学习基本概念”不是背算法名或抄训练循环，而是围绕“一条轨迹中的随机性、终止、截断和折扣回报怎样影响价值解释？”重建环境、轨迹、回报、目标、更新、策略/对手快照与独立评估，并用“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”拒绝“把时间上限截断当作任务终止并错误清零自举项”。最终交付为环境合同、轨迹表、折扣回报与价值复算。

练习与答案

练习

问题 1：实验合同。 “第3章强化学习基本概念”为什么必须先冻结环境、轨迹、策略/对手版本、预算、随机性和评估口径？

问题 2：目录逐项覆盖。 怎样证明“第3章强化学习基本概念”的正式目录坐标已经进入机制、交互和练习？

“第3章强化学习基本概念”的目录项「第3章强化学习基本概念」：以“把“强化学习基本概念”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链”解释作用，用“第3章强化学习基本概念的输入角色、中间状态、策略快照、反例与独立评估”提供复核。 2. “第3章强化学习基本概念”的目录项「3·1 马尔可夫决策过程」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·1·1 状态、动作、奖励」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·1·2 状态转移」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·2 策略」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·3 随机性」：以“把“随机性”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链”解释作用，用“第3章强化学习基本概念的输入角色、中间状态、策略快照、反例与独立评估”提供复核。 7. “第3章强化学习基本概念”的目录项「3·4 回报与折扣回报」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·4·1 回报」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·4·2 折扣回报」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·4·3 回报中的随机性」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·4·4 有限期MDP和无限期MDP」：以“把“有限期MDP和无限期MDP”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链”解释作用，用“第3章强化学习基本概念的输入角色、中间状态、策略快照、反例与独立评估”提供复核。 12. “第3章强化学习基本概念”的目录项「3·5 价值函数」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·5·1 动作价值函数」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·5·2 最优动作价值函数」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·5·3 状态价值函数」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。
“第3章强化学习基本概念”的目录项「3·6 实验环境：OpenAI Gym」：以“建立环境、轨迹、终止、策略、回报和价值的时间合同”解释作用，用“转移记录、策略概率、终止/截断标记、回报与价值残差”提供复核。

问题 3：故障恢复。 怎样证明“把时间上限截断当作任务终止并错误清零自举项”已经被修正？

为“第3章强化学习基本概念”复用同一环境、轨迹、策略/对手快照、预算和随机流，重放参考路径后只注入该故障；记录首个偏离，撤销故障再运行。只有环境合同、更新轨迹、独立评估和环境合同、轨迹表、折扣回报与价值复算重新满足“状态、动作、奖励、转移、终止/截断标记与折扣口径保持一致”，修正才可提交。

名词解释

本章出现的专业名词，用大白话再讲一遍。

强化学习基本概念: 检索键 drl-A 对应正式目录坐标「第3章强化学习基本概念」；在“第3章强化学习基本概念”中用于把“强化学习基本概念”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
马尔可夫决策过程: 检索键 drl-B 对应正式目录坐标「3·1 马尔可夫决策过程」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
状态、动作、奖励: 检索键 drl-C 对应正式目录坐标「3·1·1 状态、动作、奖励」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
状态转移: 检索键 drl-D 对应正式目录坐标「3·1·2 状态转移」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
策略: 检索键 drl-E 对应正式目录坐标「3·2 策略」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
随机性: 检索键 drl-F 对应正式目录坐标「3·3 随机性」；在“第3章强化学习基本概念”中用于把“随机性”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
回报与折扣回报: 检索键 drl-G 对应正式目录坐标「3·4 回报与折扣回报」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
回报: 检索键 drl-H 对应正式目录坐标「3·4·1 回报」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
折扣回报: 检索键 drl-I 对应正式目录坐标「3·4·2 折扣回报」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
回报中的随机性: 检索键 drl-J 对应正式目录坐标「3·4·3 回报中的随机性」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
有限期MDP和无限期MDP: 检索键 drl-K 对应正式目录坐标「3·4·4 有限期MDP和无限期MDP」；在“第3章强化学习基本概念”中用于把“有限期MDP和无限期MDP”放进MDP角色、轨迹与价值的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
价值函数: 检索键 drl-L 对应正式目录坐标「3·5 价值函数」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
动作价值函数: 检索键 drl-M 对应正式目录坐标「3·5·1 动作价值函数」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
最优动作价值函数: 检索键 drl-N 对应正式目录坐标「3·5·2 最优动作价值函数」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
状态价值函数: 检索键 drl-O 对应正式目录坐标「3·5·3 状态价值函数」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
实验环境: 检索键 drl-P 对应正式目录坐标「3·6 实验环境：OpenAI Gym」；在“第3章强化学习基本概念”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。

第3章 强化学习基本概念

学习目标

为什么从这个问题开始

原版书目、272个正式坐标与访问边界

原版目录层级与可验证机制

第3章 强化学习基本概念

3·1 马尔可夫决策过程

3·1·1 状态、动作、奖励

3·1·2 状态转移

3·2 策略

3·3 随机性

3·4 回报与折扣回报

3·4·1 回报

3·4·2 折扣回报

3·4·3 回报中的随机性

3·4·4 有限期MDP和无限期MDP

3·5 价值函数

3·5·1 动作价值函数

3·5·2 最优动作价值函数

3·5·3 状态价值函数

3·6 实验环境：OpenAI Gym

先预测，再操作三个章专属实验

1. 环境与轨迹合同

第3章 强化学习基本概念

第3章 强化学习基本概念 · 环境与角色

第3章 强化学习基本概念的可重放协议

本页回顾

练习与答案

练习

名词解释

名词解释

讨论

第3章强化学习基本概念

第3章强化学习基本概念

第3章强化学习基本概念

第3章强化学习基本概念 · 环境与角色

第3章强化学习基本概念的可重放协议