SuperAPI AI 工具集

evaluate-skill

通用与其它

查看项目

更新于 10-16 09:48

技能介绍

用途:评估目标为本地技能目录或 SKILL.md 文件的 Codex 技能,默认入口是把“评估这个技能”作为请求,按工程化视角审视技能质量与用量。

主要能力:检查 frontmatter 有效性、name 与 description 质量、渐进式披露与引用使用、相对链接是否失效、SKILL.md 或描述是否过大、TypeScript 与 Python 辅助脚本质量;报告结构包含 At a Glance、Why It Matters、Fix First 与 Recommended Next Step;可区分结构性、预算相关与代码相关的问题;可测量真实 token 用量并给出后续埋点或改进建议。

使用方式:用户给出路径时直接评估;只给技能名时先本地解析,优先 ~/.codex/skills/<skill-name>,其次仓库内 skills/<skill-name>。若以自然语言发请求,可用 plugin-eval start <skill-path> --request "<user request>" --format markdown 展示路由路径。分析用 plugin-eval analyze <skill-path> --format markdown;预算解释用 plugin-eval explain-budget;用量建议用 plugin-eval measurement-plan <skill-path> --observed-usage <usage.jsonl> --format markdown;初始化基准用 plugin-eval init-benchmark <skill-path>,再运行 plugin-eval benchmark <skill-path> --dry-run。若用户要求“分析”,不要止于报告,需运行 init-benchmark 并展示细化 .plugin-eval/benchmark.json 起始场景的设置问题;若要查看真实用量,切换到测量流程并运行基准。若用户要改写方案,转到 improve-skill。

适用场景:审计本地技能、解释评分原因、确定优先修复项、测量 token 用量。

限制:仅面向本地技能目录或 SKILL.md;需具备 plugin-eval 命令与环境;资料未提供收费标准、支持平台与具体评分阈值。