第16章 强化学习
覆盖任务奖赏、K摇臂、有模型/免模型学习、值函数近似与模仿学习；用数据协议、单故障轨迹和模型验收门完成独立复核。
学习目标
- 能说明“第16章 强化学习”如何覆盖任务奖赏、K摇臂、有模型/免模型学习、值函数近似与模仿学习，并把原版范围、技术核验和现代扩展分层
- 能先预测“怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？”的数据与模型路径，再用切分、状态、轨迹和独立评估复核
- 能注入“用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能”，用“状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定”决定接受、降级或拒绝实验结论
为什么从这个学习实验开始
强化学习页把训练交互与冻结评估分开，回报必须能追到环境版本和策略状态。 “第16章 强化学习”的贯穿任务是：让采摘代理先解决多臂赌博机，再在有限MDP中比较规划、Q学习与模仿。 操作前先写下哪个数据角色、模型状态或评估结论会变化；运行后补理由不算预测。
本页围绕“怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？”建立基线、故障与恢复路径。只有“第16章 强化学习”守住“状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定”并交付MDP版本、状态动作、奖赏与终止、行为/目标策略、随机种子、轨迹、价值表/参数、覆盖率和冻结回报。，分数或图形才构成机器学习证据。
书目、128个原版层级与版本边界
“第16章 强化学习”以清华大学出版社官方书页核对周志华著《机器学习》于2016年出版、425页、ISBN 9787302423287和全书16章的三部分结构，同时以作者官方书页确认这是一部16章、每章6至7节且持续公开勘误的入门教科书，再以作者官方目录PDF逐项核对16章、108个编号小节和附录A/B/C，因此本站覆盖分母计入16个章标题、108个编号小节、附录标题及A/B/C，共128个正式目录层级。
“第16章 强化学习”未取得原书完整正文，只以作者与出版社目录限定范围；中文解释、交互、实验、练习与答案均为独立教学重写。原书强化学习以表格方法和函数近似入门；现代大规模策略优化另作扩展。
本页另以技术核对 1、技术核对 2、技术核对 3核对算法机制、评估协议或数学工具。外部资料能验证技术事实，不能反向证明原书正文采用了本站表述。
原版目录层级与学习机制
第16章 强化学习
↡强化学习对应原版目录坐标“第16章 强化学习”，在“第16章 强化学习”中用于把原版目录项转成有输入、状态变化和验收条件的学习合同，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 1/8。 在“第16章 强化学习”的坐标1中，目录项「第16章 强化学习」用于把原版目录项转成有输入、状态变化和验收条件的学习合同；先冻结数据角色，再以数据角色、模型状态、运行轨迹、指标与边界反例复核，出现只复述标题而没有实验或拒绝条件时撤回结论。
16.1 任务与奖赏
↡任务对应原版目录坐标“16·1 任务与奖赏”，在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 2/8。 目录项「16·1 任务与奖赏」进入“第16章 强化学习”后要回答第2个学习问题：它怎样通过环境交互或示范估计策略、价值或动力学、改变什么模型状态、由哪些MDP、行为/目标策略、轨迹、价值更新、覆盖与冻结回报证明，并如何排除评估期间继续探索和更新。
16.2 K-摇臂赌博机
↡K-摇臂赌博机对应原版目录坐标“16·2 K-摇臂赌博机”，在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 3/8。 围绕“怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？”，在“第16章 强化学习”的原版层级3把「16·2 K-摇臂赌博机」落实为通过环境交互或示范估计策略、价值或动力学；复核者先读取MDP、行为/目标策略、轨迹、价值更新、覆盖与冻结回报，不能接受评估期间继续探索和更新。
16.3 有模型学习
↡有模型学习对应原版目录坐标“16·3 有模型学习”，在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 4/8。 对“第16章 强化学习”而言，目录项「16·3 有模型学习」的最小实验合同是通过环境交互或示范估计策略、价值或动力学，第4次检查保存MDP、行为/目标策略、轨迹、价值更新、覆盖与冻结回报；若产生评估期间继续探索和更新，就返回上游。
16.4 免模型学习
↡免模型学习对应原版目录坐标“16·4 免模型学习”，在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 5/8。 第5个正式坐标「16·4 免模型学习」服务于覆盖任务奖赏、K摇臂、有模型/免模型学习、值函数近似与模仿学习，需要以MDP、行为/目标策略、轨迹、价值更新、覆盖与冻结回报呈现通过环境交互或示范估计策略、价值或动力学；评估期间继续探索和更新会破坏“状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定”。
16.5 值函数近似
↡值函数近似对应原版目录坐标“16·5 值函数近似”，在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 6/8。 在“第16章 强化学习”的坐标6中，目录项「16·5 值函数近似」用于通过环境交互或示范估计策略、价值或动力学；先冻结数据角色，再以MDP、行为/目标策略、轨迹、价值更新、覆盖与冻结回报复核，出现评估期间继续探索和更新时撤回结论。
16.6 模仿学习
↡模仿学习对应原版目录坐标“16·6 模仿学习”，在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 7/8。 目录项「16·6 模仿学习」进入“第16章 强化学习”后要回答第7个学习问题：它怎样通过环境交互或示范估计策略、价值或动力学、改变什么模型状态、由哪些MDP、行为/目标策略、轨迹、价值更新、覆盖与冻结回报证明，并如何排除评估期间继续探索和更新。
16.7 阅读材料
↡阅读材料对应原版目录坐标“16·7 阅读材料”，在“第16章 强化学习”中用于把本章结论连接到可追溯的进阶路线与原始资料，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 8/8。 围绕“怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？”，在“第16章 强化学习”的原版层级8把「16·7 阅读材料」落实为把本章结论连接到可追溯的进阶路线与原始资料；复核者先读取问题清单、前置假设、来源版本与可复现实验入口，不能接受只堆链接而不说明验证对象。
先预测，再操作三个章专属实验
1. 数据角色与模型协议
固定“让采摘代理先解决多臂赌博机，再在有限MDP中比较规划、Q学习与模仿。”，在基线与反例间切换，逐阶段查看“环境合同、策略与探索、交互采样、价值或模型更新、冻结评估”允许的输入、操作、输出和证据。
数据与模型协议
选择实验，再逐阶段检查信息边界
怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？
实验设置
让采摘代理先解决多臂赌博机，再在有限MDP中比较规划、Q学习与模仿。 固定数据版本、实体切分、流水线、预算和随机种子。
预期结果
沿“环境合同 → 策略与探索 → 交互采样 → 价值或模型更新 → 冻结评估”得到可重放结论。
适用边界
全过程保持“状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定”。
允许输入
第16章 强化学习：冻结版本、实体与样本角色，不得越过样本角色
本阶段操作
只读取任务允许的信息，并持续满足“状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定”
阶段输出
环境合同产生可追踪输入状态
复核证据
可追踪输入状态、索引和版本；出现“用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能”时拒绝推进
原版坐标：第16章 强化学习、16.1 任务与奖赏、16.2 K-摇臂赌博机、16.3 有模型学习、16.4 免模型学习、16.5 值函数近似、16.6 模仿学习、16.7 阅读材料
第16章 强化学习的可重放研究协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 环境合同 | 在“第16章 强化学习”执行环境合同，只读取该角色允许的信息 | 任务、版本、实体与切分哈希 | 角色或来源不可追溯 |
| 策略与探索 | 在“第16章 强化学习”执行策略与探索，只读取该角色允许的信息 | 表示、参数、轨迹、候选比较与选择理由 | 用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能 |
| 交互采样 | 在“第16章 强化学习”执行交互采样，只读取该角色允许的信息 | 表示、参数、轨迹、候选比较与选择理由 | 用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能 |
| 价值或模型更新 | 在“第16章 强化学习”执行价值或模型更新，只读取该角色允许的信息 | 表示、参数、轨迹、候选比较与选择理由 | 用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能 |
| 冻结评估 | 在“第16章 强化学习”执行冻结评估，只读取该角色允许的信息 | 封存指标、错误样本、复现与边界 | 测试被复用或无法重放 |
unit: "mlw-16"
question: "怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？"
scenario: "让采摘代理先解决多臂赌博机，再在有限MDP中比较规划、Q学习与模仿。"
stages: ["环境合同", "策略与探索", "交互采样", "价值或模型更新", "冻结评估"]
invariant: "状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定"
fault: "用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能"
evidence: "MDP版本、状态动作、奖赏与终止、行为/目标策略、随机种子、轨迹、价值表/参数、覆盖率和冻结回报。"
reset: restore_experiment_stage_trace_mode_step_gates_and_artifact该协议要求“第16章 强化学习”在相同任务、数据版本、实体切分、流水线、预算和种子下重放。重置后若实验、阶段、轨迹模式、步骤、验收门或复核包没有回到基线，交互状态已经污染比较。
本页回顾
掌握“第16章 强化学习”不是背诵算法名，而是能围绕“怎样区分环境动力学、行为策略与目标策略，并用回报和覆盖验证学习？”重建数据与模型证据，并用“状态、动作、奖赏、终止、折扣、探索策略、随机种子和评估回合固定”拒绝“用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能”。最终交付为MDP版本、状态动作、奖赏与终止、行为/目标策略、随机种子、轨迹、价值表/参数、覆盖率和冻结回报。
练习与答案
练习
- 问题 1：实验合同。 “第16章 强化学习”为什么必须先冻结任务、数据版本、实体切分、流水线、预算和种子？
- 问题 2：目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“用评估回合继续探索和更新参数，再把在线适应后的回报当冻结策略性能”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 强化学习
检索键 ml-A 对应目录坐标「第16章 强化学习」；在“第16章 强化学习”中用于把原版目录项转成有输入、状态变化和验收条件的学习合同，需要连接原版范围、数据角色、模型状态与独立证据。
- 任务
检索键 ml-B 对应目录坐标「16·1 任务与奖赏」；在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，需要连接原版范围、数据角色、模型状态与独立证据。
- K-摇臂赌博机
检索键 ml-C 对应目录坐标「16·2 K-摇臂赌博机」；在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，需要连接原版范围、数据角色、模型状态与独立证据。
- 有模型学习
检索键 ml-D 对应目录坐标「16·3 有模型学习」；在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，需要连接原版范围、数据角色、模型状态与独立证据。
- 免模型学习
检索键 ml-E 对应目录坐标「16·4 免模型学习」；在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，需要连接原版范围、数据角色、模型状态与独立证据。
- 值函数近似
检索键 ml-F 对应目录坐标「16·5 值函数近似」；在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，需要连接原版范围、数据角色、模型状态与独立证据。
- 模仿学习
检索键 ml-G 对应目录坐标「16·6 模仿学习」；在“第16章 强化学习”中用于通过环境交互或示范估计策略、价值或动力学，需要连接原版范围、数据角色、模型状态与独立证据。
- 阅读材料
检索键 ml-H 对应目录坐标「16·7 阅读材料」；在“第16章 强化学习”中用于把本章结论连接到可追溯的进阶路线与原始资料，需要连接原版范围、数据角色、模型状态与独立证据。