第8章 DQN
用经验回放与目标网络稳定DQN，并核对Atari预处理和三类扩展；用转移账本、单故障收益更新轨迹和冻结评估门完成复核。
学习目标
- 能说明“第8章 DQN”如何用经验回放与目标网络稳定DQN，并核对Atari预处理和三类扩展，并区分2022年原版、2024年中文授权版与当前扩展
- 能先预测“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”会改变哪一条转移、收益/目标、价值、梯度或策略概率，再逐步复核
- 能注入“计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处”，用“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”决定接受、回退或拒绝强化学习结论
为什么从这个强化学习问题开始
本章进入深度Q网络，重点是把相关样本与移动目标拆开，并保存每次目标计算所用的参数版本。 “第8章 DQN”的贯穿任务是：为“第8章 DQN”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。 动手前先写下哪个状态、动作、奖励、收益/目标、价值、梯度、策略概率或评估哈希会先变化；运行后补理由不算预测。
围绕“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”，“第8章 DQN”建立参考、故障与恢复路径。只有“第8章 DQN”守住“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”并交付第8章 DQN的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告，奖励曲线或成功轨迹才构成机制证据。
书目、205个原版层级与版本边界
“第8章 DQN”以O’Reilly Japan原版官方书页核对斋藤康毅著《ゼロから作るDeep Learning ❹ ―強化学習編》于2022年4月6日出版、376页、ISBN 9784873119755。“第8章 DQN”采用出版社同页给出的10章与附录A至D作为完整目录边界；本站逐项统计10个章标题、57个一级节、128个二级节、4个附录标题和6个附录节，共205个正式目录层级。“第8章 DQN”再以出版社官方代码仓库核对实现目录，以官方勘误识别已知错误。
“第8章 DQN”没有使用未获授权的原书完整正文，只以出版社完整目录、官方代码和勘误限定范围；中文解释、数值、交互、练习与答案均为独立教学重写。“第8章 DQN”的中文授权书目页仅用于核对《深度学习入门4：强化学习》、人民邮电出版社2024年8月、333页和ISBN 9787115649171，不用来证明日文原版正文。“第8章 DQN”以2022年日文原版与2024年中文授权版目录为内容边界；当前环境API、后续论文与兼容修正只作带时间标签的独立核验。
“第8章 DQN”另以技术核对 1、技术核对 2、技术核对 3核对算法定义、实现语义或实验边界；这些资料能验证本页技术事实，不能反向证明原书采用了本站表述。
原版目录层级与实现机制
第8章 DQN
↡DQN对应原版目录坐标“第8章 DQN”，在“第8章 DQN”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 1/20。 在“第8章 DQN”的坐标1中，目录项「第8章 DQN」用于声明本章在环境—转移—目标—更新—评估链中的职责与边界；先冻结环境、策略与随机性，再以原版坐标、输入对象、核心状态、下游接口、反例和时间边界复核，出现只罗列算法名或用当前热点重排原版时撤回结论。
8.1 OpenAI Gym
↡OpenAI Gym对应原版目录坐标“8·1 OpenAI Gym”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 2/20。 目录项「8·1 OpenAI Gym」进入“第8章 DQN”后要回答第2个机制问题：它怎样以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责、改变哪个真实状态、由哪些环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点证明，并如何排除目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.1.1 OpenAI Gym的基础知识
↡OpenAI Gym的基础知识对应原版目录坐标“8·1·1 OpenAI Gym的基础知识”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 3/20。 围绕“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”，“第8章 DQN”在原版层级3把「8·1·1 OpenAI Gym的基础知识」落实为以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；复核者先读取环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点，不能接受目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.1.2 随机智能体
↡随机智能体对应原版目录坐标“8·1·2 随机智能体”，在“第8章 DQN”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 4/20。 对“第8章 DQN”而言，目录项「8·1·2 随机智能体」的最小强化学习合同是把智能体和环境的交互定义为带概率与终止语义的决策过程，第4次检查保存状态、合法动作、转移分布、奖励、策略概率、折扣、终止和轨迹；若产生状态遗漏历史信息或把即时奖励误作长期收益，就返回同一环境与参数快照。
8.2 DQN的核心技术
↡DQN的核心技术对应原版目录坐标“8·2 DQN的核心技术”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 5/20。 第5个正式坐标「8·2 DQN的核心技术」服务于用经验回放与目标网络稳定DQN，并核对Atari预处理和三类扩展，需要以环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点呈现以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范会破坏“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”。
8.2.1 经验回放（Experience Replay）
↡经验回放（Experience Replay）对应原版目录坐标“8·2·1 经验回放（Experience Replay）”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 6/20。 在“第8章 DQN”的坐标6中，目录项「8·2·1 经验回放（Experience Replay）」用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；先冻结环境、策略与随机性，再以环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点复核，出现目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范时撤回结论。
8.2.2 经验回放的实现
↡经验回放的实现对应原版目录坐标“8·2·2 经验回放的实现”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 7/20。 目录项「8·2·2 经验回放的实现」进入“第8章 DQN”后要回答第7个机制问题：它怎样以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责、改变哪个真实状态、由哪些环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点证明，并如何排除目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.2.3 目标网络（Target Network）
↡目标网络（Target Network）对应原版目录坐标“8·2·3 目标网络（Target Network）”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 8/20。 围绕“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”，“第8章 DQN”在原版层级8把「8·2·3 目标网络（Target Network）」落实为以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；复核者先读取环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点，不能接受目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.2.4 目标网络的实现
↡目标网络的实现对应原版目录坐标“8·2·4 目标网络的实现”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 9/20。 对“第8章 DQN”而言，目录项「8·2·4 目标网络的实现」的最小强化学习合同是以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，第9次检查保存环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点；若产生目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范，就返回同一环境与参数快照。
8.2.5 运行DQN
↡运行DQN对应原版目录坐标“8·2·5 运行DQN”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 10/20。 第10个正式坐标「8·2·5 运行DQN」服务于用经验回放与目标网络稳定DQN，并核对Atari预处理和三类扩展，需要以环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点呈现以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范会破坏“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”。
8.3 DQN与Atari
↡DQN与Atari对应原版目录坐标“8·3 DQN与Atari”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 11/20。 在“第8章 DQN”的坐标11中，目录项「8·3 DQN与Atari」用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；先冻结环境、策略与随机性，再以环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点复核，出现目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范时撤回结论。
8.3.1 Atari的游戏环境
↡Atari的游戏环境对应原版目录坐标“8·3·1 Atari的游戏环境”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 12/20。 目录项「8·3·1 Atari的游戏环境」进入“第8章 DQN”后要回答第12个机制问题：它怎样以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责、改变哪个真实状态、由哪些环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点证明，并如何排除目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.3.2 预处理
↡预处理对应原版目录坐标“8·3·2 预处理”，在“第8章 DQN”中用于用参数模型近似状态动作价值，并让前向、目标、损失与反向更新对齐，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 13/20。 围绕“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”，“第8章 DQN”在原版层级13把「8·3·2 预处理」落实为用参数模型近似状态动作价值，并让前向、目标、损失与反向更新对齐；复核者先读取状态编码、张量shape、动作输出次序、目标向量、损失、梯度与参数版本，不能接受用一个动作目标覆盖全部输出或让评估继续更新网络。
8.3.3 CNN
↡CNN对应原版目录坐标“8·3·3 CNN”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 14/20。 对“第8章 DQN”而言，目录项「8·3·3 CNN」的最小强化学习合同是以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，第14次检查保存环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点；若产生目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范，就返回同一环境与参数快照。
8.3.4 其他的技巧
↡其他的技巧对应原版目录坐标“8·3·4 其他的技巧”，在“第8章 DQN”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 15/20。 第15个正式坐标「8·3·4 其他的技巧」服务于用经验回放与目标网络稳定DQN，并核对Atari预处理和三类扩展，需要以原版范围、输入输出、状态、动作、奖励、目标、参数、随机性与反例呈现把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同；只复述术语或只展示最终平均奖励会破坏“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”。
8.4 DQN的扩展
↡DQN的扩展对应原版目录坐标“8·4 DQN的扩展”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 16/20。 在“第8章 DQN”的坐标16中，目录项「8·4 DQN的扩展」用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；先冻结环境、策略与随机性，再以环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点复核，出现目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范时撤回结论。
8.4.1 Double DQN
↡Double DQN对应原版目录坐标“8·4·1 Double DQN”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 17/20。 目录项「8·4·1 Double DQN」进入“第8章 DQN”后要回答第17个机制问题：它怎样以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责、改变哪个真实状态、由哪些环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点证明，并如何排除目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.4.2 优先级经验回放
↡优先级经验回放对应原版目录坐标“8·4·2 优先级经验回放”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 18/20。 围绕“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”，“第8章 DQN”在原版层级18把「8·4·2 优先级经验回放」落实为以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责；复核者先读取环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点，不能接受目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范。
8.4.3 Dueling DQN
↡Dueling DQN对应原版目录坐标“8·4·3 Dueling DQN”，在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 19/20。 对“第8章 DQN”而言，目录项「8·4·3 Dueling DQN」的最小强化学习合同是以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，第19次检查保存环境API、转移缓冲区、采样索引、在线/目标快照、终止掩码、损失与同步点；若产生目标计算读取错误网络、回放污染或把旧Gym接口当作当前规范，就返回同一环境与参数快照。
8.5 小结
↡小结对应原版目录坐标“8·5 小结”，在“第8章 DQN”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，并受环境、状态/动作、奖励、策略、随机性、训练预算、评估协议与版本边界约束。原版坐标 20/20。 第20个正式坐标「8·5 小结」服务于用经验回放与目标网络稳定DQN，并核对Atari预处理和三类扩展，需要以原版坐标、输入对象、核心状态、下游接口、反例和时间边界呈现声明本章在环境—转移—目标—更新—评估链中的职责与边界；只罗列算法名或用当前热点重排原版会破坏“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”。
先预测，再操作三个章节专属强化学习实验
1. 状态—动作—奖励转移账本
固定“为“第8章 DQN”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。”，在参考、单故障和边界探针间切换，逐阶段查看“采集转移、写入回放、抽取批次、计算目标、冻结评估”的输入对象、唯一动作、输出状态和必留证据。
强化学习状态—动作—奖励账本
选择运行情形，逐阶段核对真实对象与状态变化
怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？
环境与策略设置
第8章 DQN使用冻结环境、固定策略版本、固定预算和种子，不启用故障。
运行前预测
第8章 DQN应沿“采集转移 → 写入回放 → 抽取批次 → 计算目标 → 冻结评估”得到可重放的转移、目标、更新与评估轨迹。
适用与拒绝边界
第8章 DQN的参考运行只证明声明环境与预算内的机制，不外推到未测任务。
进入本阶段的对象与状态
第8章 DQN在“采集转移”读取环境版本、状态/动作空间、奖励、终止语义、初始分布、策略与随机种子。
本阶段唯一允许的动作
第8章 DQN在“采集转移”阶段冻结本页问题所需的任务快照，不运行训练或评估。
离开本阶段的真实状态
第8章 DQN在“采集转移”阶段产出可哈希的环境与策略前置状态。
必须保存的可复核证据
第8章 DQN在“采集转移”阶段保存环境配置、空间定义、种子、参数版本与允许读取的信息。
原版目录坐标：第8章 DQN、8.1 OpenAI Gym、8.1.1 OpenAI Gym的基础知识、8.1.2 随机智能体、8.2 DQN的核心技术、8.2.1 经验回放（Experience Replay）、8.2.2 经验回放的实现、8.2.3 目标网络（Target Network）、8.2.4 目标网络的实现、8.2.5 运行DQN、8.3 DQN与Atari、8.3.1 Atari的游戏环境、8.3.2 预处理、8.3.3 CNN、8.3.4 其他的技巧、8.4 DQN的扩展、8.4.1 Double DQN、8.4.2 优先级经验回放、8.4.3 Dueling DQN、8.5 小结
第8章 DQN的可重放实现协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 采集转移 | 在“第8章 DQN”执行采集转移，只改变声明的环境、转移、目标、价值、参数或评估状态 | 环境/空间定义、奖励/终止语义、策略版本、初值与种子 | 任务或随机性不可追溯 |
| 写入回放 | 在“第8章 DQN”执行写入回放，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处 |
| 抽取批次 | 在“第8章 DQN”执行抽取批次，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处 |
| 计算目标 | 在“第8章 DQN”执行计算目标，只改变声明的环境、转移、目标、价值、参数或评估状态 | 转移五元组、旧值、收益/目标分量、梯度或策略概率与新值 | 计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处 |
| 冻结评估 | 在“第8章 DQN”执行冻结评估，只改变声明的环境、转移、目标、价值、参数或评估状态 | 冻结评估、逐种子分布、反例、2022/当前边界与参数哈希 | 评估仍写参数或无法重放 |
unit: "dlr-08"
question: "怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？"
scenario: "为“第8章 DQN”冻结环境、状态/动作语义、奖励、终止规则、策略版本、训练预算和随机种子，再对照参考路径与单故障路径。"
stages: ["采集转移", "写入回放", "抽取批次", "计算目标", "冻结评估"]
invariant: "环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界"
fault: "计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处"
evidence: "第8章 DQN的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告"
reset: restore_environment_policy_parameters_rng_trace_gates_and_artifact该协议要求“第8章 DQN”在相同环境、状态/动作语义、奖励、终止规则、策略版本、初值、预算和随机序列下重放。重置“第8章 DQN”后若案例、阶段、轨迹模式、步骤、验收门或证据包没有回到基线，交互状态已经污染比较。
本页回顾
掌握“第8章 DQN”不是背诵算法名或最终奖励，而是能围绕“怎样证明经验回放、在线网络和目标网络各自读取正确快照，而不是只看到奖励曲线上升？”重建环境、转移、收益/目标、价值或策略更新、随机性与冻结评估证据，并用“环境API、转移缓冲区、采样索引、在线/目标参数版本、终止掩码与评估模式一致；第8章 DQN的结论不得越过原版目录、实验数据和评估边界”拒绝“计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处”。“第8章 DQN”最终交付为第8章 DQN的环境快照、转移五元组、收益/目标手算、更新前后状态、随机性记录、失败复现与冻结评估报告
练习与答案
练习
- 问题 1：强化学习实验合同。 “第8章 DQN”为什么必须先冻结环境、空间语义、奖励、终止规则、策略版本、初值、预算和随机种子？
- 问题 2：目录逐项覆盖。 怎样证明“第8章 DQN”的原版目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“第8章 DQN”中的“计算目标值时误用正在更新的在线网络同时选动作和评动作；在第8章 DQN验收中只注入这一处”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- DQN
检索键 dlr-A 对应目录坐标「第8章 DQN」；在“第8章 DQN”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- OpenAI Gym
检索键 dlr-B 对应目录坐标「8·1 OpenAI Gym」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- OpenAI Gym的基础知识
检索键 dlr-C 对应目录坐标「8·1·1 OpenAI Gym的基础知识」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 随机智能体
检索键 dlr-D 对应目录坐标「8·1·2 随机智能体」；在“第8章 DQN”中用于把智能体和环境的交互定义为带概率与终止语义的决策过程，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- DQN的核心技术
检索键 dlr-E 对应目录坐标「8·2 DQN的核心技术」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 经验回放（Experience Replay）
检索键 dlr-F 对应目录坐标「8·2·1 经验回放（Experience Replay）」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 经验回放的实现
检索键 dlr-G 对应目录坐标「8·2·2 经验回放的实现」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 目标网络（Target Network）
检索键 dlr-H 对应目录坐标「8·2·3 目标网络（Target Network）」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 目标网络的实现
检索键 dlr-I 对应目录坐标「8·2·4 目标网络的实现」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 运行DQN
检索键 dlr-J 对应目录坐标「8·2·5 运行DQN」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- DQN与Atari
检索键 dlr-K 对应目录坐标「8·3 DQN与Atari」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- Atari的游戏环境
检索键 dlr-L 对应目录坐标「8·3·1 Atari的游戏环境」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 预处理
检索键 dlr-M 对应目录坐标「8·3·2 预处理」；在“第8章 DQN”中用于用参数模型近似状态动作价值，并让前向、目标、损失与反向更新对齐，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- CNN
检索键 dlr-N 对应目录坐标「8·3·3 CNN」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 其他的技巧
检索键 dlr-O 对应目录坐标「8·3·4 其他的技巧」；在“第8章 DQN”中用于把目录坐标转成有环境、转移、目标、更新和评估证据的实验合同，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- DQN的扩展
检索键 dlr-P 对应目录坐标「8·4 DQN的扩展」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- Double DQN
检索键 dlr-Q 对应目录坐标「8·4·1 Double DQN」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 优先级经验回放
检索键 dlr-R 对应目录坐标「8·4·2 优先级经验回放」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- Dueling DQN
检索键 dlr-S 对应目录坐标「8·4·3 Dueling DQN」；在“第8章 DQN”中用于以回放缓冲区和目标网络稳定深度Q学习，并记录在线与目标职责，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。
- 小结
检索键 dlr-T 对应目录坐标「8·5 小结」；在“第8章 DQN”中用于声明本章在环境—转移—目标—更新—评估链中的职责与边界，需要连接原版范围、环境快照、转移、目标/更新和冻结评估证据。