SuperAPI AI 工具集

context-optimization

通用与其它

查看项目

更新于 10-16 05:48

技能介绍

用途:在不更换更大模型的前提下,提升上下文窗口的实际可用容量,降低延迟与成本,适用于长时运行的智能体系统与大型单体仓库等场景。

主要能力(四个优化杠杆):

  • 压缩(Compaction):在接近上限时进行结构化摘要,据称可减少 50-70%。
  • 观察掩码(Observation Masking):用引用替代冗长的工具输出,据称可将工具日志减少 60-80%。
  • KV 缓存优化:重排上下文以最大化稳定前缀,据称延迟 -40%、成本 -50%。
  • 分区(Partitioning):将任务拆分给隔离的子智能体,实现噪声隔离。

触发时机:上下文上限限制任务复杂度时;需降低运维成本时(token 越少成本越低);响应延迟明显上升时;实现长时智能体或大型单体仓库时。

使用方式:提供两类模式。一是带原子引用的掩码模式,用摘要与引用 ID 替换长输出,示例: [OBSERVATION MASKED: output_log_42] Key Findings: Error 404 in /api/auth. Full log stored in artifacts/logs/auth_error.log

二是缓存友好排序:系统提示(静态,开头)、工具定义(静态)、项目上下文(半静态)、当前任务状态(动态,末尾)。触发阈值:70% 使用率时告警;80% 时触发迭代压缩;90% 时执行激进压缩与强制分区。

关联技能:context-fundamentals、multi-agent-patterns、memory-systems,可将上下文卸载到外部记忆系统。

限制与注意事项:脆弱性中等,过度掩码可能隐藏关键的推理依赖;实现优化触发器的自由度较高。资料未提供具体安装命令、收费与价格信息。