用途
skill-evaluation 用于测试、评审、压力测试、改进、打包或验证学术研究工作流中的智能体技能,适用于在安装或依赖某个技能之前对其进行评估。它的核心视角是把技能当作可操作的操作流程来评估:一个好的研究技能应当改变智能体在真实任务上的未来行为,并留下可检查的产物。
主要能力
该技能围绕评估与验证展开,涵盖以下方面:
- 定义技能应当防止的失败模式。
- 编写基于真实学术任务的压力场景,包括坏 PDF、缺失 DOI、无依据的论断、混乱的仓库、模糊的 SOTA、不可靠的 notebook 或 MCP 中断等。
- 在不假设技能有帮助的前提下,运行或推理基线行为。
- 修订技能的 frontmatter,使其在正确的用户意图上触发。
- 保持 SKILL.md 精简,将详细策略移到 references/ 目录。
- 使用 python3 scripts/validate_skills.py 验证本地结构。
- 使用 npx -y skills add <repo> --list 列出安装包。
- 将推荐的外部技能与自定义内部技能分开记录。
使用方式
该技能提供了一套可遵循的工作流:先定义失败模式,再编写压力场景,然后检查基线行为,接着修订 frontmatter,保持 SKILL.md 精简并拆分详细策略到 references/,随后用脚本验证本地结构,最后列出安装包并区分外部与内部技能。
在开始前,技能建议先阅读以下参考文件:
- references/skill-evaluation-policy.md
- references/external-skill-recommendations.md
评审标准
该技能列出的评审标准包括:
- 触发描述以 Use when 开头。
- frontmatter 中不含工作流摘要。
- 引用存在,且仅在需要时加载。
- 输出映射到研究项目契约。
- 引用与证据规则明确。
- 技能不会在没有理由的情况下重复一个更强的外部技能。
不应做的事项
该技能明确列出以下禁止事项:
- 创建一个庞大的“研究智能体”技能。
- 在脚本或测试可以检查的情况下,把脆弱流程隐藏在散文描述中。
- 盲目复制外部技能,而不适配输出路径与仓库契约。
适用场景与限制
该技能面向学术研究工作流中的技能评估,强调可验证的流程与产物。关于该技能的具体收费、价格、平台支持范围、实际效果等事实,资料暂未提供。