大模型:智能体的大脑

从 token、上下文窗口和逐 token 生成建立大模型边界,再把消息、工具结果与状态组织成可控上下文。

学习目标

  • 能解释“大模型:智能体的大脑”如何把有限上下文视为智能体运行时的状态预算
  • 能区分token、上下文窗口、消息历史、上下文裁剪、外部状态,并指出它们在请求、状态或执行边界中的位置
  • 能固定输入,沿以下证据定位首个分叉:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果
  • 能注入“无限追加工具输出直到系统指令或成功标准被窗口截断”,在同一预算和权限下完成故障、恢复与重放

来源、课程编排与适用边界

“大模型:智能体的大脑”以Anthropic 公开全文《Building effective agents》为总纲,并用Anthropic《Effective context engineering for AI agents》核对本单元机制;工具与外部能力的角色再由MCP 官方规范交叉检查。

这不是一本具有“官方九章目录”的纸质书。平台把公开文章中的 augmented LLM、工作流、智能体、上下文和工具工程重组为 9 个教学单元;下列 72 个节点是站内课程地图,不冒充 Anthropic 原文目录。正文、代码、图表和练习均为独立教学重写,产品或模型版本变化时应重新验证。

本单元的八个课程坐标

  • 大模型:智能体的大脑:作为“把有限上下文视为智能体运行时的状态预算”的第 1 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • token 化:作为“把有限上下文视为智能体运行时的状态预算”的第 2 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • 上下文窗口:作为“把有限上下文视为智能体运行时的状态预算”的第 3 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • 逐 token 生成:作为“把有限上下文视为智能体运行时的状态预算”的第 4 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • 消息历史:作为“把有限上下文视为智能体运行时的状态预算”的第 5 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • 工具结果:作为“把有限上下文视为智能体运行时的状态预算”的第 6 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • 上下文裁剪:作为“把有限上下文视为智能体运行时的状态预算”的第 7 个课程坐标,必须进入正文解释、交互观察或练习证据。
  • 外部状态:作为“把有限上下文视为智能体运行时的状态预算”的第 8 个课程坐标,必须进入正文解释、交互观察或练习证据。

术语与状态合同

本页不变量是:每轮上下文都能说明哪些信息被保留、压缩、检索或丢弃,关键约束不得静默消失。任何“成功”结论都要保存以下证据:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果,不能把模型口头确认当作环境事实。

关键机制与可推翻实验

模型读取 token 而不是字符

文本先被切成 token,成本、上下文占用和截断边界都以 token 计。字符数只能粗估,代码、中文与特殊格式的比例并不相同。

动手试:对同义中文、英文和 JSON 输入比较 token 数,记录估算误差。

上下文是有限工作集

系统指令、用户消息、工具定义、历史观察和待生成内容共享窗口。简单地永久追加历史会挤走早期约束并增加延迟与费用。

动手试:逐轮加入大工具结果,观察哪条关键约束先被截断,并比较摘要与按需检索。

生成是条件分布上的连续选择

模型每次根据当前上下文预测下一个 token,再把它加入上下文继续生成。随机性和错误会沿序列传播,因此结构校验不能等同于事实校验。

动手试:固定提示和随机种子,对比贪心与采样的首个分叉位置。

外部状态不能只靠消息记忆

文件、数据库、任务台账和工具返回应保存在可查询环境中;上下文只装当前决策需要的标识和证据,避免把窗口当永久存储。

动手试:清空对话后凭稳定标识恢复任务,确认结果不依赖模型声称记得。

先预测,再操作三类证据

分步1 / 3

1. 模型与结构边界

在“大模型:智能体的大脑”中先画出责任、数据或候选空间,再预测“把有限上下文视为智能体运行时的状态预算”会在哪个节点改变结果。

大模型:智能体的大脑、token 化、上下文窗口、逐 token 生成、消息历史、工具结果、上下文裁剪、外部状态
可交互动手:在框里打字,实时看它被切成多少个 token
字符数:7token 数:7
中文字英文词子词(长词拆块)数字段标点 / 空白

猜一猜:同样一句话,纯英文长词和纯中文,哪个 token 数更接近字符数?为什么 token 数往往不等于你数的字数?

或一键填入示例:

最小可运行实现

def build_context(task, history, store, token_budget):
    stable = [{"role": "system", "content": task.policy}]
    recent = history[-6:]
    evidence = store.fetch(task.required_evidence_ids)
    messages = stable + evidence + recent
    if count_tokens(messages) > token_budget:
        messages = stable + [summarize(evidence + recent)]
    return messages

这段实现只负责暴露“把有限上下文视为智能体运行时的状态预算”的最小合同。交付版本还要补齐超时、日志、权限、密钥隔离和可重复评测;缺少以下证据时,代码能运行也不代表本章结论成立:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

小结

  • 把有限上下文视为智能体运行时的状态预算
  • 模型按 token 处理文本,成本与截断以 token 计
  • 指令、历史与工具结果共享窗口,需主动裁剪
  • 上下文裁剪须可说明,关键约束不得静默消失
  • 外部状态存于可查询环境,不依赖模型记忆

练习与答案

练习

问题 1:系统边界。 怎样用最小输入证明“每轮上下文都能说明哪些信息被保留、压缩、检索或丢弃,关键约束不得静默消失”?

问题 2:课程坐标。 大模型:智能体的大脑、token 化、上下文窗口、逐 token 生成、消息历史、工具结果、上下文裁剪、外部状态如何进入可操作验证?

问题 3:故障恢复。 怎样证明“无限追加工具输出直到系统指令或成功标准被窗口截断”已经修复?

本章回顾

  • “大模型:智能体的大脑”的主问题是把有限上下文视为智能体运行时的状态预算。
  • 核心不变量是每轮上下文都能说明哪些信息被保留、压缩、检索或丢弃,关键约束不得静默消失。
  • 首要反例是无限追加工具输出直到系统指令或成功标准被窗口截断。
  • 最小证据包包含模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

名词解释

本章出现的专业名词,用大白话再讲一遍。

token

模型处理文本时使用的离散单位。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

上下文窗口

一次推理可见的 token 总预算。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

消息历史

本轮发送给模型的结构化对话记录。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

上下文裁剪

按规则删除、摘要或外置历史信息。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

外部状态

存放在模型上下文之外且可重新读取的任务事实。在“大模型:智能体的大脑”中必须能按以下证据重新定位:模型版本、token 计数、消息序列、裁剪策略、检索标识、首个生成分叉与恢复结果。

阅读导航

← 从聊天机器人到智能体 · 智能体解剖图 →

资料与写作方式声明

本章以Building effective agents(站内九单元课程改编)权威目录界定学习范围,并结合正文列出的技术资料独立重写;不宣称复现原书正文,也不沿用原作表述。

原作版权归作者与出版社所有;本站原创教学结构与表述仅供学习交流。

讨论

评论区加载中…