第14章 多智能体系统
用智能体、联合动作、局部观测、共享/个体奖励与基准环境建立多智能体合同；用环境合同、更新轨迹和独立评估门交付智能体身份表、联合轨迹、掩码与奖励归属测试
学习目标
- 能说明“第14章 多智能体系统”如何用智能体、联合动作、局部观测、共享/个体奖励与基准环境建立多智能体合同，并区分原版目录、作者代码映射、独立技术来源和本站重写
- 能先预测“联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？”会改变哪一个环境、轨迹、回报、目标、策略或评估状态，再操作三类交互证据
- 能只注入“环境返回顺序变化后仍按旧数组下标绑定智能体”，定位首个偏离“智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐”的状态，并从同一快照完成恢复
为什么从这个问题开始
“第14章 多智能体系统”围绕“联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？”建立贯穿任务：在固定智能体顺序下重放多智能体环境回合。先写下哪个环境、轨迹、回报、目标、策略或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐”并交付智能体身份表、联合轨迹、掩码与奖励归属测试，训练回报、策略价值、搜索统计或应用收益才构成机制证据。
原版书目、272个正式坐标与访问边界
“第14章 多智能体系统”以作者官方代码仓库核对王树森、黎彧君、张志华著《深度强化学习》的第1至19章及主要算法—实现映射，以馆藏书目核对人民邮电出版社、2022年11月、294页和ISBN 9787115600691，再以发行数字版完整目录核对5个部分、19章、233个编号节/小节、附录A、附录B与B.1至B.13，合计272个正式目录层级。
作者仓库验证章节和算法实现确实对应，但仓库页面未提供可据以复用代码、图表或书稿的明确许可；发行数字版用于核对目录范围，不作为复制正文的授权。“第14章 多智能体系统”不翻译、摘编或改写原书正文，也不复制仓库代码；中文讲解、状态轨迹、反例、交互、练习与答案均为独立教学重写。
本页独立核对 1只用于独立核对本页算法、环境接口或实验边界，不能反向证明原书使用本站表述。Gymnasium、PyTorch、PettingZoo等当前API行为按2026-07-30核对并显式视为当前实现，不倒填为2022年原书内容。
原版目录层级与可验证机制
第14章 多智能体系统
↡多智能体系统对应正式目录坐标“第14章 多智能体系统”，在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 1/11。 原版目录键 第14章 多智能体系统。在“第14章 多智能体系统”的第1个正式坐标中，「第14章 多智能体系统」通过声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构推进多智能体接口、身份与联合轨迹；复核者保存身份表、联合动作、奖励归属、可见性矩阵、对战矩阵与掩码，出现智能体顺序、全局信息、对手版本或padding掩码泄漏就撤回结论。
14·1 常见设定
↡常见设定对应正式目录坐标“14.1 常见设定”，在“第14章 多智能体系统”中用于把“常见设定”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 2/11。 原版目录键 14.1 常见设定。围绕“联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？”，“第14章 多智能体系统”在坐标2把「14·1 常见设定」落实为把“常见设定”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链；只有第14章 多智能体系统的输入角色、中间状态、策略快照、反例与独立评估可重放且反例排除只复述“常见设定”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。
14·2 基本概念
↡基本概念对应正式目录坐标“14.2 基本概念”，在“第14章 多智能体系统”中用于把“基本概念”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 3/11。 原版目录键 14.2 基本概念。“第14章 多智能体系统”的目录节点3「14·2 基本概念」不能停在术语复述：它要把“基本概念”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，交付第14章 多智能体系统的输入角色、中间状态、策略快照、反例与独立评估，并把只复述“基本概念”名称而没有可观察状态、单一故障和恢复证据设为单一反事实。
14·2·1 专业术语
↡专业术语对应正式目录坐标“14.2.1 专业术语”，在“第14章 多智能体系统”中用于把“专业术语”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 4/11。 原版目录键 14.2.1 专业术语。对“第14章 多智能体系统”而言，「14·2·1 专业术语」在第4次检查中改变可观察状态，因为它负责把“专业术语”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链；第14章 多智能体系统的输入角色、中间状态、策略快照、反例与独立评估必须与“智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐”对齐，不能接受只复述“专业术语”名称而没有可观察状态、单一故障和恢复证据。
14·2·2 策略网络
↡策略网络对应正式目录坐标“14.2.2 策略网络”，在“第14章 多智能体系统”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 5/11。 原版目录键 14.2.2 策略网络。在“第14章 多智能体系统”的第5个正式坐标中，「14·2·2 策略网络」通过建立环境、轨迹、终止、策略、回报和价值的时间合同推进多智能体接口、身份与联合轨迹；复核者保存转移记录、策略概率、终止/截断标记、回报与价值残差，出现混淆状态与观测、终止与截断或行为策略与目标策略就撤回结论。
14·2·3 动作价值函数
↡动作价值函数对应正式目录坐标“14.2.3 动作价值函数”，在“第14章 多智能体系统”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 6/11。 原版目录键 14.2.3 动作价值函数。围绕“联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？”，“第14章 多智能体系统”在坐标6把「14·2·3 动作价值函数」落实为建立环境、轨迹、终止、策略、回报和价值的时间合同；只有转移记录、策略概率、终止/截断标记、回报与价值残差可重放且反例排除混淆状态与观测、终止与截断或行为策略与目标策略，本节点才算掌握。
14·2·4 状态价值函数
↡状态价值函数对应正式目录坐标“14.2.4 状态价值函数”，在“第14章 多智能体系统”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 7/11。 原版目录键 14.2.4 状态价值函数。“第14章 多智能体系统”的目录节点7「14·2·4 状态价值函数」不能停在术语复述：它要建立环境、轨迹、终止、策略、回报和价值的时间合同，交付转移记录、策略概率、终止/截断标记、回报与价值残差，并把混淆状态与观测、终止与截断或行为策略与目标策略设为单一反事实。
14·3 实验环境
↡实验环境对应正式目录坐标“14.3 实验环境”，在“第14章 多智能体系统”中用于把“实验环境”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 8/11。 原版目录键 14.3 实验环境。对“第14章 多智能体系统”而言，「14·3 实验环境」在第8次检查中改变可观察状态，因为它负责把“实验环境”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链；第14章 多智能体系统的输入角色、中间状态、策略快照、反例与独立评估必须与“智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐”对齐，不能接受只复述“实验环境”名称而没有可观察状态、单一故障和恢复证据。
14·3·1 multi-agent particle world
↡multi-agent particle world对应正式目录坐标“14.3.1 multi-agent particle world”，在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 9/11。 原版目录键 14.3.1 multi-agent particle world。在“第14章 多智能体系统”的第9个正式坐标中，「14·3·1 multi-agent particle world」通过声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构推进多智能体接口、身份与联合轨迹；复核者保存身份表、联合动作、奖励归属、可见性矩阵、对战矩阵与掩码，出现智能体顺序、全局信息、对手版本或padding掩码泄漏就撤回结论。
14·3·2 StarCraft multi-agent challenge
↡强化学习坐标10对应正式目录坐标“14.3.2 StarCraft multi-agent challenge”，在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 10/11。 原版目录键 14.3.2 StarCraft multi-agent challenge。围绕“联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？”，“第14章 多智能体系统”在坐标10把「14·3·2 StarCraft multi-agent challenge」落实为声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构；只有身份表、联合动作、奖励归属、可见性矩阵、对战矩阵与掩码可重放且反例排除智能体顺序、全局信息、对手版本或padding掩码泄漏，本节点才算掌握。
14·3·3 Hanabi Challenge
↡Hanabi Challenge对应正式目录坐标“14.3.3 Hanabi Challenge”，在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 11/11。 原版目录键 14.3.3 Hanabi Challenge。“第14章 多智能体系统”的目录节点11「14·3·3 Hanabi Challenge」不能停在术语复述：它要声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，交付身份表、联合动作、奖励归属、可见性矩阵、对战矩阵与掩码，并把智能体顺序、全局信息、对手版本或padding掩码泄漏设为单一反事实。
先预测，再操作三个章专属实验
1. 环境与轨迹合同
为“第14章 多智能体系统”选择正式目录坐标，在参考合同与单一反事实间切换，逐角色核对输入、状态变化、证据与即时裁决。
环境—轨迹合同
第14章 多智能体系统
选择正式目录坐标，冻结环境角色，再定位参考轨迹与单一反事实的首个分岔。
合同 1/4
第14章 多智能体系统 · 环境与角色
- 输入角色
- 在固定智能体顺序下重放多智能体环境回合
- 状态变化
- 冻结多智能体接口、身份与联合轨迹所需的环境版本、观测/状态、动作、奖励和数据角色
- 应留证据
- 第14章 多智能体系统的环境合同、策略快照与基线轨迹
- 即时裁决
- 第14章 多智能体系统的角色、时间索引、shape、终止和可见性没有错位
第14章 多智能体系统的可重放协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 第14章 多智能体系统 · 环境与角色 | 冻结多智能体接口、身份与联合轨迹所需的环境版本、观测/状态、动作、奖励和数据角色 | 第14章 多智能体系统的环境合同、策略快照与基线轨迹 | 未满足“第14章 多智能体系统的角色、时间索引、shape、终止和可见性没有错位” |
| 第14章 多智能体系统 · 回报与目标 | 按用智能体、联合动作、局部观测、共享/个体奖励与基准环境建立多智能体合同构造回报、目标、估计量或搜索统计 | 第14章 多智能体系统的逐步回报、目标分量与中间状态 | 未满足“第14章 多智能体系统的目标可由同一轨迹、公式和随机状态复算” |
| 第14章 多智能体系统 · 更新与策略 | 执行一次受控更新并记录策略、价值、梯度或联合决策的变化 | 第14章 多智能体系统的更新前后差、首个分岔和恢复路径 | 未满足“第14章 多智能体系统没有把代理损失、单次回报或训练内统计当作最终结论” |
| 第14章 多智能体系统 · 独立评估 | 重放基线、单故障、恢复和边界案例 | 第14章 多智能体系统的接受、回退或拒绝理由 | 未满足“第14章 多智能体系统满足“智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐”” |
unit: "drl-14"
question: "联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？"
scenario: "在固定智能体顺序下重放多智能体环境回合"
invariant: "智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐"
fault: "环境返回顺序变化后仍按旧数组下标绑定智能体"
evidence: "智能体身份表、联合轨迹、掩码与奖励归属测试"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact“第14章 多智能体系统”要求从同一环境、轨迹、策略/对手版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、合同模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。
本页回顾
掌握“第14章 多智能体系统”不是背算法名或抄训练循环，而是围绕“联合轨迹里每个观测、动作和奖励属于哪个智能体与时间步？”重建环境、轨迹、回报、目标、更新、策略/对手快照与独立评估，并用“智能体身份、活动掩码、联合状态、动作顺序和奖励归属始终对齐”拒绝“环境返回顺序变化后仍按旧数组下标绑定智能体”。最终交付为智能体身份表、联合轨迹、掩码与奖励归属测试。
练习与答案
练习
- 问题 1：实验合同。 “第14章 多智能体系统”为什么必须先冻结环境、轨迹、策略/对手版本、预算、随机性和评估口径？
- 问题 2：目录逐项覆盖。 怎样证明“第14章 多智能体系统”的正式目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“环境返回顺序变化后仍按旧数组下标绑定智能体”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 多智能体系统
检索键 drl-A 对应正式目录坐标「第14章 多智能体系统」；在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 常见设定
检索键 drl-B 对应正式目录坐标「14·1 常见设定」；在“第14章 多智能体系统”中用于把“常见设定”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 基本概念
检索键 drl-C 对应正式目录坐标「14·2 基本概念」；在“第14章 多智能体系统”中用于把“基本概念”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 专业术语
检索键 drl-D 对应正式目录坐标「14·2·1 专业术语」；在“第14章 多智能体系统”中用于把“专业术语”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 策略网络
检索键 drl-E 对应正式目录坐标「14·2·2 策略网络」；在“第14章 多智能体系统”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 动作价值函数
检索键 drl-F 对应正式目录坐标「14·2·3 动作价值函数」；在“第14章 多智能体系统”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 状态价值函数
检索键 drl-G 对应正式目录坐标「14·2·4 状态价值函数」；在“第14章 多智能体系统”中用于建立环境、轨迹、终止、策略、回报和价值的时间合同，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 实验环境
检索键 drl-H 对应正式目录坐标「14·3 实验环境」；在“第14章 多智能体系统”中用于把“实验环境”放进多智能体接口、身份与联合轨迹的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- multi-agent particle world
检索键 drl-I 对应正式目录坐标「14·3·1 multi-agent particle world」；在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 强化学习坐标10
检索键 drl-J 对应正式目录坐标「14·3·2 StarCraft multi-agent challenge」；在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- Hanabi Challenge
检索键 drl-K 对应正式目录坐标「14·3·3 Hanabi Challenge」；在“第14章 多智能体系统”中用于声明智能体身份、联合轨迹、信息可见性、对手快照与训练/执行架构，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。