用途:skill-ab 用于对同一技能的两个版本进行 A/B 测试,借助真实使用数据比较版本表现,帮助判断哪个版本更优。
主要能力:支持启动新的 A/B 测试、查看所有进行中的测试状态、查看某技能的测试结果,以及停止进行中的测试。结果对比维度包括满意度、token 消耗和纠正率。
使用方式:通过命令 node ${CLAUDE_PLUGIN_ROOT}/scripts/ab-test.mjs $ARGUMENTS 调用,输出需原样展示,不应修改或摘要。子命令包括:start <skill-name> <path-to-version-b> 启动新测试;status 显示所有进行中的 A/B 测试;result <skill-name> 显示某技能的 A/B 测试结果;stop <skill-name> 停止进行中的测试。
适用场景:需要在真实使用中评估技能两个版本差异时使用。
限制:资料未提供安装方式、依赖要求、数据存储位置、测试时长或统计显著性等细节,暂未提供。