在此页面上
一个能干的助理可以在不了解你的情况下回答一个一般性问题。询问谁批准了你的客户合同的更改,答案取决于不同的资产:最新文档、更改它的对话、正确的人以及你可以共享的来源。该资产就是上下文。它是随着时间的推移,通常跨越多个产品组装而成的,其错误会带来成本。
这就是为什么仅通过模型质量或订阅价格来比较助手会遗漏一些东西。用户还需要支付重新连接数据、纠正假设和教新工具其工作历史的费用。拥有这些历史的公司可能具有优势,即使另一家公司推出了更好的模型。这种优势是偶然的:上下文可以导出、按需检索或在助手之间移动。
提供 120 个上下文请求的三种方式
考虑一个建模工作负载,每月有120个上下文相关的请求。假设朴素设计为每个请求发送相同的12,000令牌上下文包。紧凑包发送4,000令牌。选择性检索系统提供1,500个特定于问题的令牌。我们只计算上下文输入;用户的提问、系统指令、工具调用和模型的回答均不包括在内。
| 上下文策略 | 每个任务的令牌数 | 每月上下文输入 | 相对计数 |
|---|---|---|---|
| 完整数据包 | 12,000 | 1,440,000 | ████████████████ |
| 紧凑数据包 | 4,000 | 480,000 | █████ |
| 选定证据 | 1,500 | 180,000 | ██ |
图:针对三种每任务上下文负载大小计算的每月上下文令牌计数。。1,500-token 策略发送的上下文量是 12,000-token 策略的八分之一:在此衡量标准中减少了 87.5%。这些总数来自 120 个模拟请求和规定的每个请求的 token 预算。价格、延迟和答案准确性取决于缓存、检索和所选模型。
API 计费并非简单的原始提示价格。OpenAI 的 2024年提示缓存公告 描述了重复前缀的折扣处理,供应商此后开发了不同的缓存规则。一个长而稳定的前缀在集中会话中重用可能很便宜。更改检索到的片段可能会错过该缓存。模型的输入速率不同,检索本身会消耗存储、计算和源请求。公平的比较会根据缓存和未缓存输入的实际组合定价。
还有一个质量条件。选择性检索必须返回合同修正案而不是早期草稿,保留批准人,并排除助手可能看不到的信息。一个通过省略决定性消息节省126万输入令牌的系统比完整的数据包更糟糕。未经许可包含机密信息,无论付出什么代价都不是优化。
优势累积之处
三个产品决策展示了个人上下文如何成为助理设计中独特的一部分。
OpenAI的 2025年ChatGPT记忆更新 扩展了对早期对话的引用。Google 的 2026 年 1 月 Gemini 更新 引入了选择性加入与选定Google应用的连接,以提供个性化答案。Microsoft描述 Copilot内存 在启用时使用对话历史记录、工作内容和个人资料信息。这些不是相同的产品或数据实践。它们表明供应商正在超越空白提示,进入积累的用户特定知识。
如果一个助手知道一个项目昨天更换了所有者,它可能会在许多后续任务中节省时间。其价值部分来自模型的推理,部分来自其检索数据的时效性。更好的模型仍然很重要;上下文决定了一般能力是否适用于用户面前的工作。这会产生切换摩擦:重复的权限设置、不完整的导出、缺失的出处以及无法表示为一句话记忆的习惯。
摩擦并非永久锁定。Anthropic 的 2026年9月指南 文档导入和导出 Claude 内存,包括从其他提供商传输。这削弱了关于内存普遍不可移植的任何主张。但传输用户偏好摘要不一定等同于传输持续刷新、源链接的关于哪些人、决策和文件重要的账户。买家应询问切换后会保留什么:偏好、源指针、访问控制、更正历史记录,还是只有文本。
三份单独的账单
将上下文定价为三项活动而不是一项功能,这很有帮助。
首先是构建。必须授权账户,发现对象,协调重复项并表示关系。即使维护成本低廉,初始历史导入也可能很昂贵。其次是维护。已删除的文档和重新分配的项目需要更新;访问撤回必须迅速使信息失效。过时的索引可能会使流畅的答案比根本没有个性化答案更糟糕。第三是交付。每个请求都需要选择策略、权限检查和足够的证据供助手回答。在此阶段发送较少的数据并不能消除前两项费用。
谁来支付取决于架构。一个平台可以在其自己的产品中构建和保留上下文。一个公司可以维护中央检索。一个本地优先的应用程序可以将大部分状态保存在个人设备上,与每个选定的助手共享有限的部分。这些模型在托管费用、设备可用性、集成工作和操作控制方面有所不同。没有一种总是最便宜的。
Zortex 的 抢先体验描述 提出了第三种方法:一个Windows和macOS应用程序,旨在将工作来源链接到个人世界模型中,默认情况下保持本地化,并让个人决定每个AI可以访问什么。该页面还描述了当计算机关闭时可选的云访问。这是一个产品计划,而不是已证明的市场份额或经审计的节省。其经济效益应符合与竞争设计相同的标准。
是什么让上下文值得携带
评估可以保持工作人员的问题和源权限不变,然后比较助手的答案准确性、源新鲜度、禁止数据暴露、重新连接新助手的时间和端到端成本。它应该包括提供商切换后的困难任务。令牌总数揭示了可能的浪费;它们无法确定证据的价值。
有用的问题是,一个人能否一次性纠正记录,控制每次交接,并在更换模型时保持源链接的上下文。上下文只有在保持最新、获得接收助手的授权并包含任务所需的证据时,才能减少重复工作。
来源和图注
这 矢量图和封面构图 可从以下内容重现 图表生成器。这些数字根据所述输入计算上下文令牌量;供应商价格和使用统计数据单独引用。供应商详细信息归因于链接文档;竞争性解释是我们的。


