SuperAPI AI 工具集

context-optimization

智能体与模型

查看项目

更新于 10-15 20:06

技能介绍

该技能用于在上下文窗口有限时扩展有效容量,核心思路是提升上下文利用质量而非单纯扩容。激活场景包括:上下文限制任务复杂度、优化成本(减少token消耗)、降低长对话延迟、实现长运行智能体系统、处理更大文档或对话、构建规模化生产系统。

四种主要策略:

  1. 压缩(Compaction):接近上限时总结上下文内容,再用总结重新初始化新窗口。优先压缩工具输出、旧对话轮次、检索文档,永不压缩系统提示。总结需按消息类型保留要点,去除冗长内容。
  2. 观察掩码(Observation Masking):工具输出可占智能体轨迹token的80%以上,用紧凑引用替换冗长输出。最新轮次和活跃推理中的观察不掩码,3轮以上或已发挥作用的可考虑掩码,重复输出始终掩码。
  3. KV缓存优化:基于哈希块匹配复用相同前缀的KV块。将稳定内容(系统提示、工具定义)放前,可复用元素居中,唯一内容置后;避免时间戳等动态内容以提升缓存命中。
  4. 上下文分区:将工作分派给上下文隔离的子智能体,聚合前验证各分区完成并合并结果。

预算管理:显式分配token给系统提示、工具定义、检索文档、消息历史和预留缓冲;token利用率超80%等信号触发优化。决策参考:工具输出为主用掩码,文档为主用总结或分区,历史为主用压缩,多组件可组合。

性能预期:压缩实现50-70% token削减且质量下降小于5%,掩码实现60-80%削减,缓存命中率达70%以上。指南:先测量再优化,优先压缩再掩码,保持提示稳定以利缓存,在上下文出问题前分区,平衡节省与质量,生产规模测试,为边界情况设计优雅降级。

该技能依赖context-fundamentals和context-degradation,并与multi-agent-patterns、evaluation、memory-systems相连。技能版本1.0.0,创建并更新于2025-12-20。具体API、收费与部署细节资料暂未提供。