SuperAPI AI 工具集

model-audit

编程与开发

查看项目

更新于 10-16 02:20

技能介绍

用途

model-audit 用于审计代码库中的每一次 AI 模型调用,输出一张包含真实成本计算的模型路由表,而不仅仅是模型名称。当模型、用量或定价发生变化时,可使用该技能重新评估。

主要能力

该技能按阶段执行审计:

阶段 1 — 查找模型配置:通过 grep 搜索模型定义位置,读取返回的每个文件,建立别名到实际模型字符串的映射(例如 AI_MODEL="claude-sonnet-4-6" 或 const FAST_MODEL = "gpt-4o-mini")。

阶段 2 — 查找每一次 AI 调用:针对 Anthropic、OpenAI、Google/Gemini 以及嵌入调用分别搜索。对每次调用记录:触发它的功能/文件/函数、模型别名或字面模型字符串、任务类型(生成、分类、摘要、嵌入、工具使用、推理)、大致提示词规模(小 <1K tokens、中 1–10K、大 >10K)、频率(每请求、每用户操作、后台任务、一次性)。

阶段 3 — 定价参考(2026):内置 Anthropic Claude、OpenAI、Google Gemini 的定价表,包含输入/输出/缓存写入/缓存读取价格与上下文长度。提示缓存相比未缓存输入可节省约 90%,要求可缓存前缀至少 1024 tokens。OpenAI Batch API 对所有模型提供 50% 折扣,最低延迟约 24 小时。Gemini 上下文缓存免费缓存,按每 token 每小时计费。

阶段 4 — 构建路由表:输出包含功能、任务类型、实际模型字符串、每千次调用成本的表格,并展示每次调用的成本计算公式。同时列出已定义但从未调用的配置,以及已弃用/重命名的模型。

阶段 5 — 检查缓存机会:对具有大型稳定前缀(系统提示词、文档、schema、示例)的调用,判断前缀是否 ≥1024 tokens、是否随用户或请求变化、是否每次调用相同,标记有大型系统提示词但未使用 cache_control 的调用。

阶段 6 — 检查批处理 API 候选:非面向用户、可容忍数小时延迟、日调用量超过 100 次的调用可标记为批处理候选,节省 50%。

阶段 7 — 规格调整标记:识别降级候选(简单任务使用昂贵模型)与升级候选(廉价模型静默失败)。降级候选包括分类或提取、已知答案域的短问答、嵌入生成、短文本摘要;保留强大模型的情况包括多步推理或工具使用链、面向用户的创意或长文生成、正确性重要的代码生成、错误重试成本高的任务。升级候选包括复杂 schema 的工具使用、长上下文推理(>50K tokens)、从噪声输入中结构化提取。

阶段 8 — 最终标记:输出 CACHE、BATCH、OVERFIT、SCATTER、DEPR、INCON 等优化标记。

使用方式

该技能以代码库为审计对象,通过 grep 命令搜索模型配置与调用点,读取相关文件,然后按阶段生成路由表与优化标记。具体调用方式与安装命令暂未提供。

适用场景

适用于模型、用量或定价发生变化时,对代码库中的 AI 模型调用进行成本与路由审计。

限制

资料未提供该技能的安装方式、运行环境要求、支持的编程语言范围之外的细节,以及定价表的更新机制。