SuperAPI AI 工具集

context-window-management

通用与其它

查看项目

更新于 11-17 17:24

技能介绍

用途

上下文窗口是模型的工作记忆:容量有限、成本不低,且存在注意力稀释。这项技能解决的是“该给窗口放什么、以什么形式放、放多久”的决策问题,而不是一味依赖更大的窗口。

主要能力与核心概念

  • 上下文预算:显式分配窗口,例如 20% 系统/任务、30% 检索证据、30% 工作状态、20% 余量,并按类别测量实际用量。
  • 位置偏置:模型对开头(指令)和结尾(最新内容)注意力最强。关键指令放最前,当前任务放最后,大块参考资料放中间,或改为按需检索。
  • 压缩阶梯:原文 → 抽取式摘要 → 生成式摘要 → 关键事实 → 向量嵌入,随内容时效性下降逐级下移。
  • 检索优于堆砌:大语料留在窗口外,只拉入当前步骤相关的段落;RAG 本身就是上下文管理。
  • 工作状态:与原始历史分开维护的结构化草稿(目标、决策、当前步骤),比完整历史更便宜也更可靠。
  • 淘汰策略:窗口满时,明确是“最旧优先”还是“相关性优先”,不要让淘汰偶然发生。

使用方式

  1. 测量:按内容类型记录每次请求的 token 用量。
  2. 设定各类别预算并在代码中强制执行,超限时截断、摘要或检索。
  3. 重排提示词:指令在前,任务与最新上下文在后,参考资料逐步检索。
  4. 用维护中的工作状态加短期近期窗口替代原始历史。
  5. 长文档采用“先检索再阅读”:按问题取相关片段,而非整篇载入。
  6. 改完后重新测量,确认质量保持或提升而 token 下降。

资料给出 128k 窗口的示例分配:系统与任务指令 4k(前置、永不淘汰)、结构化工作状态 6k(持续重写)、检索证据 20k(每步按相关性排序)、近期历史 10k(近期窗口)、其余为生成余量。

适用场景

提示词变长且输出变差或变贵;模型忽略埋在大段上下文中的指令;多轮智能体历史累积到变慢或退化;在“换更大模型”和“改进上下文策略”之间做选择(资料建议先试策略)。

限制与注意事项

资料未提供具体模型、工具、安装命令或代码实现,相关事实暂未提供。需警惕的陷阱包括:因窗口大就全量塞入(窗口填满前质量已因注意力稀释下降)、关键指令淹没在中间、不测量 token 凭感觉判断、摘要丢失数字/名称/承诺等决策相关细节、把检索当作事后补丁、忽视长上下文带来的生成延迟。该技能是通用方法,不绑定特定平台。