SuperAPI AI 工具集

agent-audit

智能体与模型

查看项目

更新于 10-15 21:38

技能介绍

用途:把智能体优化当作死代码消除——先埋点、再测量,识别哪些组件真正承重,其余剥离。适用于接手或审查已有智能体、成本高于预期、速度过慢、希望在不破坏功能前提下降本提速、准备生产部署或重构智能体架构时激活。

主要能力:分为五步。第一步埋点,记录工具调用(工具名、频率、参数、返回、耗时)、模型使用(任务分配、输入输出 token、延迟与成本)、上下文组成(系统提示、检索注入、token 分布)、控制流(分支走向、迭代次数、循环重试点)、错误与回退路径。第二步测量基线,用代表性任务样本记录成本、性能、质量与组件使用率。第三步定位审计目标,包括臃肿系统提示、模型层级过高、无关上下文、从不触发的防御代码。第四步消融测试,逐个移除候选组件并对比评测指标。第五步增量剥离并验证,先做低风险移除,再调整模型分层,最后优化上下文,每轮后跑评测套件确认质量不退化。最后输出审计报告,含基线、发现(可移除、可降级、必须保留)、推荐配置与预期节省。

使用方式:技能内未提供可直接运行的安装命令或代码,实际执行依赖使用者自行搭建埋点、评测套件与消融流程。

限制:必须先用评测套件建立基线;禁止未做消融测试就移除组件,禁止凭直觉优化、未分阶段上线即剥离、假定“可能有用”即可保留成本、混淆“少用”与“不需要”。需保留改动前配置以便回滚。