Skill Eval 是用于评估 AI Agent Skill 的框架,覆盖安全(审计)、质量(功能)、可靠性(触发)和成本效率(Pareto 分类)四个维度。
主要命令:audit 进行安全与结构扫描(密钥、权限、规范符合性);functional 做质量评估,对比使用与不使用技能时的输出;trigger 测试激活精度,区分相关与不相关查询;report 给出综合评分,由 audit(40%)+ functional(40%)+ trigger(20%)组成;compare 在同一评估用例上并排比较两个技能;snapshot 保存当前审计作为回归基线;regression 检查相对基线的分数回退;lifecycle 做版本跟踪与变更检测;init 从 SKILL.md frontmatter 生成评估脚手架。
快速开始示例: skill-eval audit /path/to/skill skill-eval report /path/to/skill skill-eval functional /path/to/skill skill-eval trigger /path/to/skill
评估文件格式:功能评估放在 evals/evals.json,包含 id、prompt、assertions、files 字段;触发查询放在 evals/eval_queries.json,包含 query 与 should_trigger 字段。评分等级为 A(90+)、B(80-89)、C(70-79)、D(60-69)、F(<60),发现项扣分:CRITICAL −25、WARNING −10、INFO −2。
适用场景包括技能安全审查、质量与触发可靠性验证、版本对比与回归监控。限制方面,资料未提供安装方式、运行环境要求、收费模式及具体平台支持信息。