1. 任务对话上下文到底在解决什么问题
用过 WorkBuddy 这类 AI 工具的人,大概率都遇到过一种很割裂的体验:第一轮对话里你告诉它“帮我重构这个模块,用 Python 3.11 的类型注解风格”,它干得漂漂亮亮;等你接着追问“那把这个思路套到另一个文件上”,它却像失忆了一样,要么重新问你用什么语言,要么干脆给你一段风格完全不同的代码。这不是模型变笨了,而是 任务对话上下文 没管好。
所谓任务对话上下文,说白了就是 AI 在完成一个任务的过程中,能够“记住”并“理解”的所有信息总和。它包含你之前说过的话、AI 自己给出的回答、你上传的文件内容、系统预设的指令、以及工具调用产生的中间结果。这些内容并不是无限往里塞的,它们最终都要被序列化成 Token 流喂给模型,而模型能接收的 Token 数量是有硬上限的,这个上限就是大家常听到的 Context Window(上下文窗口) 。
WorkBuddy 这个工具之所以把“任务对话上下文”单独拎出来做一套机制,是因为它面向的不是闲聊场景,而是 长周期、多步骤、带工具调用的任务型工作流 。比如让它帮你把一个需求拆成任务清单、逐个生成代码、再跑测试、最后汇总报告,这一整套流程下来,上下文会迅速膨胀。如果不做管理,要么撞上窗口上限直接报错,要么因为塞了太多无关内容导致模型注意力涣散、输出质量断崖式下跌。
这篇文章适合三类人看:第一类是刚上手 WorkBuddy、搞不清为什么聊着聊着就“失忆”的新手;第二类是已经踩过 compact 相关报错、想彻底搞明白背后机制的进阶用户;第三类是想把 WorkBuddy 集成进自己工作流、需要理解上下文边界在哪里的开发者。我会从设计思路讲到实操细节,再到常见报错排查,尽量把每个“为什么”都讲透。
2. 上下文机制的整体设计与核心思路拆解
2.1 为什么不能把所有历史都塞进去
很多人第一反应是:既然模型支持 128K 甚至更长的窗口,那我全塞进去不就行了?理论上可以,实践上很亏。原因有三层。
第一层是 成本 。Token 是要花钱的,而且很多平台的计费方式是输入 Token 和输出 Token 分开算。你每轮都把几万 Token 的历史重新发一遍,费用会线性甚至指数级上涨。我实测过一个中等复杂度的重构任务,如果完全不裁剪上下文,跑完十轮对话消耗的 Token 是裁剪后的 6 到 8 倍。
第二层是 质量 。这一点反直觉但非常重要:上下文不是越长越好。模型在处理超长上下文时,中间部分的信息容易被“稀释”,业界管这叫“lost in the middle”现象。你把三天前的闲聊和当前任务混在一起,模型反而抓不住重点。所以 精准的上下文比冗长的上下文更有价值 。
第三层是 稳定性 。窗口越接近上限,请求失败的概率越高。你可能见过 error running remote compact task: codex ran out of room in the model's context 这类报错,本质就是上下文塞爆了,压缩任务本身都跑不起来。
2.2 WorkBuddy 的分层上下文模型
基于上面这些考量,WorkBuddy 采用的是分层管理思路,我把它拆成四层来理解:
| 层级 | 内容 | 生命周期 | 是否参与压缩 |
|---|---|---|---|
| 系统层 | 系统指令、角色设定、工具定义 | 整个会话 | 否,始终保留 |
| 任务层 | 当前任务目标、约束条件、关键决策 | 任务周期 | 否,优先保留 |
| 对话层 | 用户与 AI 的历史消息 | 滚动窗口 | 是,主要压缩对象 |
| 工具层 | 工具调用参数与返回结果 | 单次调用 | 是,结果可摘要 | </
129



被折叠的 条评论
为什么被折叠?



