SuperAPI AI 工具集

input-token-overheads

通用与其它

查看项目

更新于 10-16 01:19

技能介绍

用途:审计 Hermes Agent 实例中每轮输入 token 的开销来源,量化各项占用、按成本排序并处理消耗最大的项目。适用于用户提到 token 开销、上下文过大、输入成本过高,或模型输出因上下文稀释而质量下降,以及新增技能/插件/工具后验证开销变化时。

主要能力:提供整合审计脚本 scripts/audit_overheads.py,支持 --json 结构化输出与 --chart <png> 生成图表,并对每个始终注入的文件做 context-doctor 式检查,标记 TRUNCATED(超出注入上限、每轮被静默截断)与 MISSING 状态,任一文件需关注时退出码为 1。

开销地图:每轮注入包含技能描述(技能检索 top-K,约 200 字符/条)、记忆、用户画像、记忆提供方上下文(默认召回 5 条)、工具 schema、延迟工具目录、强制技能完整正文、平台格式规则与行为规则。按需加载的完整 SKILL.md、延迟工具 schema 与参考文件不计入每轮。

健康比率:开销 token 除以模型上下文窗口。低于 5% 为优秀,5-15% 健康,15-25% 可接受,超过 25% 不健康。资料引用三项研究说明输入长度本身会降低模型表现,并建议将有效窗口视为标称上限的 50-70%,目标开销比率低于标称窗口的 10%。

使用方式:依次测量各来源、按成本排序、处理前三名、复测差值。可通过 hermes tools(仪表盘)审计已启用工具集,在 config.yaml 的 skills.disabled 关闭未用技能,调整 compression 的 threshold、target_ratio、protect_last_n。必要命令:python3 -c "..."(审计脚本片段,保持原样)。

限制:固定成本(工具 schema、行为规则、系统提示)需在会话内检查或查看 /tokens;脚本只测量可变来源。禁用工具集前应检查技能的 requires_toolsets;记忆清理前检查 recall_count 与 last_recalled。其余平台细节暂未提供。