用途:该技能面向智能体上下文优化,目标是在不更换更大模型的前提下扩展有效上下文容量,并降低令牌成本。资料称有效优化可把有效上下文容量提升2-3倍。
主要能力:包含四类策略。压缩(Compaction)在上下文占用超过80%时对上下文做摘要,主要用于消息历史占主导的情况,资料给出的令牌缩减幅度为50-70%。观察掩码(Observation Masking)把冗长工具输出替换为引用,适用于工具输出占主导的场景,缩减幅度60-80%。KV缓存优化针对前缀相同的请求缓存Key/Value张量,稳定工作负载下缓存命中率可达70%以上。上下文分区把工作拆给上下文隔离的子智能体,由协调者汇总结果,适用于复杂多任务,缩减幅度不固定。
使用方式:按占用比例触发,如 context_tokens / context_limit > 0.8 时执行 compact_context(context);压缩优先级为工具输出、旧轮次、检索文档,系统提示不压缩。观察掩码在输出过长时存储原文并返回引用与关键信息,当前任务关键内容、最近一轮和进行中的推理不掩码。缓存友好顺序为 system_prompt、tool_definitions、reused_templates、unique_content,并避免时间戳等动态内容。可通过上下文预算(例如 system_prompt 2000、tool_definitions 3000、retrieved_docs 10000、message_history 15000、reserved_buffer 2000)在70-80%时触发优化。
适用场景与限制:适用于上下文利用率超过70%、工具输出主导、文档主导或需要稳定缓存命中的智能体工作负载。资料给出的性能目标为压缩缩减50-70%且质量损失低于5%,缓存命中率70%以上。限制方面,需先测量再优化、先压缩后掩码、在上下文出问题前分区,并需在生产规模测试、权衡令牌节省与质量、实现优雅降级。具体安装与调用方式暂未提供。