大模型:智能体的大脑
从 token、上下文窗口和逐 token 生成建立大模型边界,再把消息、工具结果与状态组织成可控上下文。
学习目标
- 能解释“大模型:智能体的大脑”如何把有限上下文视为智能体运行时的状态预算
- 能区分token、上下文窗口、消息历史、上下文裁剪、外部状态,并指出它们在请求、状态或执行边界中的位置
- 能固定输入,沿以下证据定位首个分叉:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果
- 能注入“无限追加工具输出直到系统指令或成功标准被窗口截断”,在同一预算和权限下完成故障、恢复与重放
来源、课程编排与适用边界
“大模型:智能体的大脑”以Anthropic 公开全文《Building effective agents》为总纲,并用Anthropic《Effective context engineering for AI agents》核对本单元机制;工具与外部能力的角色再由MCP 官方规范交叉检查。
这不是一本具有“官方九章目录”的纸质书。平台把公开文章中的 augmented LLM、工作流、智能体、上下文和工具工程重组为 9 个教学单元;下列 72 个节点是站内课程地图,不冒充 Anthropic 原文目录。正文、代码、图表和练习均为独立教学重写,产品或模型版本变化时应重新验证。
本单元的八个课程坐标
- 大模型:智能体的大脑:作为“把有限上下文视为智能体运行时的状态预算”的第 1 个课程坐标,必须进入正文解释、交互观察或练习证据。
- token 化:作为“把有限上下文视为智能体运行时的状态预算”的第 2 个课程坐标,必须进入正文解释、交互观察或练习证据。
- 上下文窗口:作为“把有限上下文视为智能体运行时的状态预算”的第 3 个课程坐标,必须进入正文解释、交互观察或练习证据。
- 逐 token 生成:作为“把有限上下文视为智能体运行时的状态预算”的第 4 个课程坐标,必须进入正文解释、交互观察或练习证据。
- 消息历史:作为“把有限上下文视为智能体运行时的状态预算”的第 5 个课程坐标,必须进入正文解释、交互观察或练习证据。
- 工具结果:作为“把有限上下文视为智能体运行时的状态预算”的第 6 个课程坐标,必须进入正文解释、交互观察或练习证据。
- 上下文裁剪:作为“把有限上下文视为智能体运行时的状态预算”的第 7 个课程坐标,必须进入正文解释、交互观察或练习证据。
- 外部状态:作为“把有限上下文视为智能体运行时的状态预算”的第 8 个课程坐标,必须进入正文解释、交互观察或练习证据。
术语与状态合同
↡token:模型处理文本时使用的离散单位;在“大模型:智能体的大脑”中按以下证据核对:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。、↡上下文窗口:一次推理可见的 token 总预算;在“大模型:智能体的大脑”中按以下证据核对:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。、↡消息历史:本轮发送给模型的结构化对话记录;在“大模型:智能体的大脑”中按以下证据核对:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。、↡上下文裁剪:按规则删除、摘要或外置历史信息;在“大模型:智能体的大脑”中按以下证据核对:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。、↡外部状态:存放在模型上下文之外且可重新读取的任务事实;在“大模型:智能体的大脑”中按以下证据核对:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。。
本页不变量是:每轮上下文都能说明哪些信息被保留、压缩、检索或丢弃,关键约束不得静默消失。任何“成功”结论都要保存以下证据:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果,不能把模型口头确认当作环境事实。
关键机制与可推翻实验
模型读取 token 而不是字符
文本先被切成 token,成本、上下文占用和截断边界都以 token 计。字符数只能粗估,代码、中文与特殊格式的比例并不相同。
动手试:对同义中文、英文和 JSON 输入比较 token 数,记录估算误差。
上下文是有限工作集
系统指令、用户消息、工具定义、历史观察和待生成内容共享窗口。简单地永久追加历史会挤走早期约束并增加延迟与费用。
动手试:逐轮加入大工具结果,观察哪条关键约束先被截断,并比较摘要与按需检索。
生成是条件分布上的连续选择
模型每次根据当前上下文预测下一个 token,再把它加入上下文继续生成。随机性和错误会沿序列传播,因此结构校验不能等同于事实校验。
动手试:固定提示和随机种子,对比贪心与采样的首个分叉位置。
外部状态不能只靠消息记忆
文件、数据库、任务台账和工具返回应保存在可查询环境中;上下文只装当前决策需要的标识和证据,避免把窗口当永久存储。
动手试:清空对话后凭稳定标识恢复任务,确认结果不依赖模型声称记得。
先预测,再操作三类证据
1. 模型与结构边界
在“大模型:智能体的大脑”中先画出责任、数据或候选空间,再预测“把有限上下文视为智能体运行时的状态预算”会在哪个节点改变结果。
猜一猜:同样一句话,纯英文长词和纯中文,哪个 token 数更接近字符数?为什么 token 数往往不等于你数的字数?
最小可运行实现
def build_context(task, history, store, token_budget):
stable = [{"role": "system", "content": task.policy}]
recent = history[-6:]
evidence = store.fetch(task.required_evidence_ids)
messages = stable + evidence + recent
if count_tokens(messages) > token_budget:
messages = stable + [summarize(evidence + recent)]
return messages这段实现只负责暴露“把有限上下文视为智能体运行时的状态预算”的最小合同。交付版本还要补齐超时、日志、权限、密钥隔离和可重复评测;缺少以下证据时,代码能运行也不代表本章结论成立:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。
小结
- 把有限上下文视为智能体运行时的状态预算
- 模型按 token 处理文本,成本与截断以 token 计
- 指令、历史与工具结果共享窗口,需主动裁剪
- 上下文裁剪须可说明,关键约束不得静默消失
- 外部状态存于可查询环境,不依赖模型记忆
练习与答案
练习
问题 1:系统边界。 怎样用最小输入证明“每轮上下文都能说明哪些信息被保留、压缩、检索或丢弃,关键约束不得静默消失”?
问题 2:课程坐标。 大模型:智能体的大脑、token 化、上下文窗口、逐 token 生成、消息历史、工具结果、上下文裁剪、外部状态如何进入可操作验证?
问题 3:故障恢复。 怎样证明“无限追加工具输出直到系统指令或成功标准被窗口截断”已经修复?
本章回顾
- “大模型:智能体的大脑”的主问题是把有限上下文视为智能体运行时的状态预算。
- 核心不变量是每轮上下文都能说明哪些信息被保留、压缩、检索或丢弃,关键约束不得静默消失。
- 首要反例是无限追加工具输出直到系统指令或成功标准被窗口截断。
- 最小证据包包含模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。
名词解释
本章出现的专业名词,用大白话再讲一遍。
- token
模型处理文本时使用的离散单位。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。
- 上下文窗口
一次推理可见的 token 总预算。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。
- 消息历史
本轮发送给模型的结构化对话记录。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。
- 上下文裁剪
按规则删除、摘要或外置历史信息。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。
- 外部状态
存放在模型上下文之外且可重新读取的任务事实。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。