SuperAPI AI 工具集

latent-briefing

智能体与模型

查看项目

更新于 10-16 01:31

技能介绍

用途:Latent Briefing 解决编排器(orchestrator)与工作智能体(worker)之间重复传递长上下文导致的 token 成本问题。编排器累积的推理轨迹若每次以文本形式完整传给 worker,费用会随调用次数叠加;摘要会带来延迟与信息损失,检索则无法保留推理状态。该方法在表征层面共享记忆,而非文本层面。

主要能力:基于 Attention Matching(AM)的 KV 缓存紧凑技术,为推理时多智能体交接做了适配:使用由当前 worker 任务提示派生的任务引导查询向量;在层与头之间聚合分数形成共享全局掩码;采用稳健阈值(如 median + tau * MAD)替代固定 top-k。效果与令牌节省、紧凑开销需结合具体工作负载测量。

适用场景:设计编排器-工作者或监督者-专家系统,worker 需要访问编排器先前状态但不必以文本重放完整轨迹;评估替代 LLM 摘要或 RAG 的跨智能体状态传递方案;调试递归、层级或工具密集型智能体图中的 token 爆炸;解读同时报告 worker token 节省、总 token 节省、紧凑开销与准确率的基准。

使用方式与限制:需系统能直接检查或改写 worker 推理运行时的 KV 状态,纯 API 栈不可用;假设编排器轨迹能在 worker 模型空间表示,若两者在分词器、架构或注意力布局上差异较大,直接表征共享可能不可行。阈值 tau 依赖任务区间、轨迹质量与文档长度,需在验证集上调参;公开结果集中在长文档问答,代码生成、数学与多文档综合可能不同。此外,随机编排器会引入方差,需足够多次试验区分紧凑效果。与上下文优化、多智能体模式、上下文压缩、记忆系统等技能配合使用。具体命令、API 与安装方式暂未提供。