SuperAPI AI 工具集

skill-usability-test

测试与质量

查看项目

更新于 10-16 08:45

技能介绍

用途:验证一个 Agent Skill 的手册(手顺书)是否足以让不了解实现的人或模型独立完成工作流,属于模仿用户测试的做法。实现者自己使用技能只能确认管线连通,无法发现手册缺陷。

主要能力:对手顺书型技能直接作为被测对象;对指南型技能,则给一项会用到该指南的任务,再通过事后访谈与 transcript 审计,判断指南是否被读取、其描述是否成为判断依据。

使用方式:仅在变更影响技能工作流结构或判断基准时,向用户提议并取得同意后执行,而非每次变更都自动跑。subagent 原则上指定 Sonnet,若技能规定模型下限则用该下限;启用不继承实现对话的新 subagent。使用 worktree 中待测的技能目录,而非已安装的插件版;若同仓库 CLI 也有改动,指示改用 worktree 版本。限制信息源:只允许任务给定内容、技能目录内文件及其指向的引用、命令内置帮助、命令与工具的执行结果;禁止查阅仓库源码、docs、README、CLAUDE.md、历史对话 memory 及 git(除非任务本身需要,由测试者解除)。任务文不得暗示目标功能,不得让 subagent 猜测补全,遇到需向用户提问处应停下并中继。

适用场景:验证手顺书型与指南型技能的可用性,覆盖正常流程及故意设置陷阱的注意点。

限制:访谈回答可能为事后解释,需与 transcript 审计(工具调用列)及最终数据核对;是否将发现的洞补入手册应逐项与用户判断。测试环境须用本地开发或测试环境,具体对象在测试前与用户确认。