SuperAPI AI 工具集

latent-briefing

智能体与模型

查看项目

更新于 10-15 21:56

技能介绍

用途:Latent Briefing 用于分层多智能体系统,解决 orchestrator 与 worker 之间重复传递上下文导致的 token 成本问题。它不在文本层做摘要或检索,而是在 worker 模型的 KV 缓存中压缩 orchestrator 轨迹,只保留与当前 worker 任务最相关的位置。

主要能力:基于 Attention Matching(AM)KV 缓存压缩,并针对推理时多智能体交接做了三项调整:使用当前 worker 任务提示生成任务引导的查询向量;将各层各头的分数聚合为共享的全局 token 掩码,便于批处理;采用 median + tau * MAD 等稳健阈值而非固定 top-k。公开资料报告在长文档问答负载上可显著减少 worker token、节省总 token,压缩开销为低个位数秒,但属特定负载证据,非通用保证。

使用方式:适用于可控制 worker 推理运行时、能检查或改写 KV 状态的 orchestrator-worker 或 supervisor-specialist 系统。理想设置是 worker 为 orchestrator 轨迹维护持久 KV 状态,新轨迹 token 扩展该状态,生成当前子任务前执行压缩。需先定义共享记忆边界,决定哪些内容进入轨迹缓存,并在验证数据上同时跟踪任务准确率、worker token、总 token、保留率和压缩开销。

适用场景:递归或 REPL 式系统中 orchestrator 反复调用 worker 检查证据、验证假设或回答子问题;评估替代 LLM 摘要或 RAG 的跨智能体状态传递;研究 KV 缓存压缩作为推理原语;调试递归、分层或工具密集智能体图中的 token 爆炸。

限制:仅适用于能访问内部 KV 张量的运行时,纯 API 栈无法直接实现;假设 orchestrator 轨迹可在 worker 模型空间中表示,若分词器、架构或注意力布局差异大,直接共享可能不可行;阈值依赖负载,过激压缩可能导致准确率骤降;公开基准集中在长文档问答,代码生成、数学和多文档合成可能表现不同;orchestrator 随机性可能掩盖压缩效果,需与强文本层基线对比。