SuperAPI AI 工具集

skill-evaluation

智能体与模型

查看项目

更新于 10-16 05:37

技能介绍

用途

skill-evaluation 用于测试、评审、压力测试、改进、打包或验证学术研究工作流中的智能体技能,适用于在安装或依赖某个技能之前对其进行评估。它的核心视角是把技能当作可操作的操作流程来评估:一个好的研究技能应当改变智能体在真实任务上的未来行为,并留下可检查的产物。

主要能力

该技能围绕评估与验证展开,涵盖以下方面:

  • 定义技能应当防止的失败模式。
  • 编写基于真实学术任务的压力场景,包括坏 PDF、缺失 DOI、无依据的论断、混乱的仓库、模糊的 SOTA、不可靠的 notebook 或 MCP 中断等。
  • 在不假设技能有帮助的前提下,运行或推理基线行为。
  • 修订技能的 frontmatter,使其在正确的用户意图上触发。
  • 保持 SKILL.md 精简,将详细策略移到 references/ 目录。
  • 使用 python3 scripts/validate_skills.py 验证本地结构。
  • 使用 npx -y skills add <repo> --list 列出安装包。
  • 将推荐的外部技能与自定义内部技能分开记录。

使用方式

该技能提供了一套可遵循的工作流:先定义失败模式,再编写压力场景,然后检查基线行为,接着修订 frontmatter,保持 SKILL.md 精简并拆分详细策略到 references/,随后用脚本验证本地结构,最后列出安装包并区分外部与内部技能。

在开始前,技能建议先阅读以下参考文件:

  • references/skill-evaluation-policy.md
  • references/external-skill-recommendations.md

评审标准

该技能列出的评审标准包括:

  • 触发描述以 Use when 开头。
  • frontmatter 中不含工作流摘要。
  • 引用存在,且仅在需要时加载。
  • 输出映射到研究项目契约。
  • 引用与证据规则明确。
  • 技能不会在没有理由的情况下重复一个更强的外部技能。

不应做的事项

该技能明确列出以下禁止事项:

  • 创建一个庞大的“研究智能体”技能。
  • 在脚本或测试可以检查的情况下,把脆弱流程隐藏在散文描述中。
  • 盲目复制外部技能,而不适配输出路径与仓库契约。

适用场景与限制

该技能面向学术研究工作流中的技能评估,强调可验证的流程与产物。关于该技能的具体收费、价格、平台支持范围、实际效果等事实,资料暂未提供。