SuperAPI AI 工具集

plugin-eval

通用与其它

查看项目

更新于 10-16 07:28

技能介绍

用途:Plugin Eval 是本地 Codex 技能(skill)与插件(plugin)评估的入门级统一入口,帮助工程师评估目标技能或插件、解释评分依据、指出应优先修复的内容、测量真实 token 用量并搭建基准场景。

主要能力:可识别目标路径是技能、插件还是其他本地文件夹;通过自然语言路由到匹配工作流;生成分析报告;解释 token 预算;制定测量计划;初始化并运行基准测试(含 dry-run)。输出以 JSON 结果为事实来源,报告优先呈现 At a Glance、Why It Matters、Fix First 和 Recommended Next Step,并区分预算数字是静态估算还是实测结果。

使用方式:用聊天优先路由入口 plugin-eval start <path> --request "<user request>" --format markdown 发起自然语言请求。常用命令包括 plugin-eval analyze <path> --format markdown、plugin-eval explain-budget <path> --format markdown、plugin-eval measurement-plan <path> --format markdown、plugin-eval init-benchmark <path>、plugin-eval benchmark <path> --dry-run 和 plugin-eval benchmark <path>。若用户只给技能名而非路径,先查 ~/.codex/skills/<skill-name>,再查仓库内 skills/<skill-name>;名称仍不明确时先问一个简短澄清问题。涉及重写帮助可转到 ../improve-skill/SKILL.md,自定义评分标准转到 ../metric-pack-designer/SKILL.md;针对技能或插件分别转到 ../evaluate-skill/SKILL.md 或 ../evaluate-plugin/SKILL.md。

适用场景:本地技能与插件评估、评分解释、修复优先级判断、token 预算说明、真实用量测量、基准测试搭建与下一步命令推荐。

限制:资料未说明具体定价、平台支持范围与完整运行环境要求;基准初始化为 .plugin-eval/benchmark.json,用户请求分析时若基准设置缺失,不应只停留在报告阶段。