SuperAPI AI 工具集

jev-audit

编程与开发

查看项目

更新于 10-16 02:38

技能介绍

用途:审计代码库中的 LLM 调用,识别其中“实为分类”的调用(返回标签而非散文内容),并给出替换为 System One 模型的成本核算方案,可作为可重复交付的审计服务。

主要能力:一是定位候选调用。用搜索命令查找 LLM 调用,再筛出输出为标签的调用,例如:grep -rnE "messages.create|chat.completions|generateText|.invoke(|anthropic.|openai." --include=*.{ts,tsx,js,py} . | grep -v node_modules。候选条件:提示词要求从有限答案集(≤255)中选择、调用方解析响应(JSON.parse、正则、枚举、.trim())、下游不向人展示推理过程、调用频繁或有用户等待。提示词中的强信号包括“respond with only”“return JSON”“classify”“choose one of”“rate from 1 to”“answer yes or no”“do not explain”。排除项:输出展示给用户、用作内容、需要引用或理由、答案集开放。二是测量当前成本:从日志取 calls/day、p50/p95 延迟、每调用 token 数换算当前费用,并确认是否有用户或流程被阻塞,强调不靠估计而是埋点。三是为替换定价:用真实流量的标注集做基准测试(参见 jev-eval),不照搬厂商基准。资料给出的参考数字(真实记录,每条 4 个问题):Jev 托管 399 ms、$0.023/1k、在 15 条记录集上匹配 Claude;Von 本地 174 ms、$0.00、仅在标准写得好时匹配;Claude Haiku 4.5 为 2,322 ms、约 $0.55、作为基线。Jev 定价:输入 $0.042/MTok,输出免费。四是按收益而非难易排序:考量 量×单位节省、是否有人等待(延迟收益更重要)、出错影响面、标注集上的准确率差(低于持平需加置信门,门本身有成本);低量级候选直接砍掉。五是撰写报告:每个候选项列出文件行号、决策内容、调用量、当前与预计延迟和成本、实测准确率差、建议的门、go/no-go 及理由;摘要以预计月度总节省和最大延迟收益开头;必须写明限制:评测集规模、Jev 处于早期访问且无 SLA、必须保留回退到现有调用的通道。

适用场景(资料所列):Sage widget 路由(值得做,访客在等待,400 ms 与 2.3 s 是关键差别)、RB2B 访客流(值得做,唯一有量、24 倍便宜可累积)、Lead intake 分类(先测量,量少)、Lead watchdog(不做,夜间 cron 无人等待)。

限制:依赖 jev-eval 提供准确率数字,jev-integrate 负责落地接线;其余功能、收费、平台等细节暂未提供。