生产化收官：简单、透明与 ACI 上线检查清单

生产化收官：简单、透明与 ACI 上线检查清单：用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线，通过架构、轨迹和故障重放完成验收。

学习目标

  • 能解释“生产化收官：简单、透明与 ACI 上线检查清单”如何用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线
  • 能区分生产门禁、离线评测、轨迹评测、灰度发布、回滚演练，并指出控制权、数据与副作用边界
  • 能固定输入与版本，沿以下证据定位首个分叉：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录
  • 能注入“演示样本成功后直接开放生产写权限，没有回归集、监控、停机或回滚路径”，完成阻断、恢复、复位和同输入重放

来源、课程编排与适用边界

“生产化收官：简单、透明与 ACI 上线检查清单”以Anthropic 公开全文《Building effective agents》为总纲，并用Anthropic《Demystifying evals for AI agents》核对本单元机制；涉及 MCP 的控制权边界再由MCP 2025-06-18 官方规范交叉检查。

这不是 Anthropic 出版的“19 章教材”。平台把公开文章、官方工具文档与协议规范重组为 19 个应用单元；下列 152 个节点是站内课程地图，不冒充原文目录。正文、代码、图表、实验和练习均为独立教学重写；产品接口、模型行为或协议版本变化时必须重新验证。

本单元的八个课程坐标

  • 生产化收官：简单、透明与 ACI 上线检查清单：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 1 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • 先打个比方：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 2 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • 三条生产原则：先简单、再透明、最后打磨接口：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 3 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • 复杂度升级门槛：不是能做，而是值得做：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 4 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • 透明 planning / review：让人能看见它为什么这么做：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 5 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • ACI：把工具当成 agent 的操作界面：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 6 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • 上线检查清单：能跑通，不等于能上线：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 7 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。
  • 动手看：四道闸门如何拦住黑盒 agent：这是“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的第 8 个课程坐标；必须进入机制解释、实验观察或练习证据，不能只停在目录。

术语与运行合同

、、、、。

本页不变量是：没有可重复评测、最小权限、停止恢复和回滚证据的系统不得进入生产。任何“成功”结论都要保存以下证据：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录，模型生成的计划或自信不能替代环境事实。

关键机制与可推翻实验

简单性是上线资产

层次越少越容易观察、限权、测试和回退；复杂度必须有评测收益。

动手验证：移除一层框架做消融，确认是否真的降低质量。

评测要看结果也看轨迹

最终答案偶然正确时，越权调用和无效绕路仍是生产缺陷。

动手验证：为成功样本加入工具次数、权限和首错断言。

安全边界要演练

文档里写有停机按钮不够，必须在沙箱和灰度中实际触发。

动手验证：注入高风险调用，验证告警、暂停和人工接管。

回滚包含代码与外部状态

退回旧版本不能自动撤销已发送消息或已写数据库，需要补偿和审计。

动手验证：执行一次可逆副作用，演练补偿后核对环境状态。

先预测，再操作三类证据

分步1 / 3

1. 架构与复杂度边界

在“生产化收官：简单、透明与 ACI 上线检查清单”中切换简单基线、受控工作流与自主循环，先预测“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”在哪个阶段需要增加控制权，再比较延迟、成本、可观测性和自主性。

Architecture decision laboratory

生产化收官：简单、透明与 ACI 上线检查清单

用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线

复杂度档位

不变量：没有可重复评测、最小权限、停止恢复和回滚证据的系统不得进入生产

受控工作流：只激活能够由收益证明的阶段1简单性审查2离线评测3沙箱试运行4灰度监控5回滚演练蓝色表示当前方案承担的责任；虚线阶段仍留在系统边界外。关键证据：版本、评测集、通过…
自主性46
延迟52
成本48
可观测78

最小可运行实现

const gates = [
  evaluate(frozenSuite),
  verifyLeastPrivilege(permissionMatrix),
  replayCriticalTraces(),
  drillStopAndHandoff(),
  drillRollbackAndCompensation(),
];
 
if (gates.some((gate) => !gate.pass)) throw new Error("release_blocked");
await release.canary({ traffic: 0.01, monitors, rollbackPlan });

这段切片只暴露“用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线”的最小运行合同。交付版本还要补齐超时、密钥隔离、结构化日志、幂等和批量评测；缺少版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录时，代码能运行也不代表本章结论成立。

练习与答案

练习

问题 1：最小证明。 怎样用最少样本证明“没有可重复评测、最小权限、停止恢复和回滚证据的系统不得进入生产”？

问题 2：课程覆盖。 生产化收官：简单、透明与 ACI 上线检查清单、先打个比方、三条生产原则：先简单、再透明、最后打磨接口、复杂度升级门槛：不是能做，而是值得做、透明 planning / review：让人能看见它为什么这么做、ACI：把工具当成 agent 的操作界面、上线检查清单：能跑通，不等于能上线、动手看：四道闸门如何拦住黑盒 agent如何进入可操作验证？

问题 3：恢复闭环。 怎样证明“演示样本成功后直接开放生产写权限，没有回归集、监控、停机或回滚路径”已经修复？

本章回顾

  • “生产化收官：简单、透明与 ACI 上线检查清单”的主问题是用简单性、透明轨迹、ACI、安全、评测、回滚和人工接管门禁决定 Agent 能否上线。
  • 核心不变量是没有可重复评测、最小权限、停止恢复和回滚证据的系统不得进入生产。
  • 首要反例是演示样本成功后直接开放生产写权限，没有回归集、监控、停机或回滚路径。
  • 最小证据包包含版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录。

名词解释

本章出现的专业名词，用大白话再讲一遍。

生产门禁

上线前必须满足且可审计的检查条件。在“生产化收官：简单、透明与 ACI 上线检查清单”中必须能按以下证据重新定位：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录。

离线评测

在冻结任务集与环境中重复运行并评分。在“生产化收官：简单、透明与 ACI 上线检查清单”中必须能按以下证据重新定位：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录。

轨迹评测

检查完整消息、工具和环境事件而非只看最终答案。在“生产化收官：简单、透明与 ACI 上线检查清单”中必须能按以下证据重新定位：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录。

灰度发布

只向有限流量开放并持续观察的上线方式。在“生产化收官：简单、透明与 ACI 上线检查清单”中必须能按以下证据重新定位：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录。

回滚演练

在受控环境验证能恢复上一稳定版本和状态的操作。在“生产化收官：简单、透明与 ACI 上线检查清单”中必须能按以下证据重新定位：版本、评测集、通过阈值、权限矩阵、轨迹日志、告警、停机演练、回滚与审批记录。

阅读导航

← 工具提示工程：让 agent 会用工具而不是猜工具 · 本课程终点 →

讨论

评论区加载中…