SuperAPI AI 工具集

skill-ab

通用与其它

查看项目

更新于 10-16 05:45

技能介绍

用途:skill-ab 用于对同一技能的两个版本进行 A/B 测试,借助真实使用数据比较版本表现,帮助判断哪个版本更优。

主要能力:支持启动新的 A/B 测试、查看所有进行中的测试状态、查看某技能的测试结果,以及停止进行中的测试。结果对比维度包括满意度、token 消耗和纠正率。

使用方式:通过命令 node ${CLAUDE_PLUGIN_ROOT}/scripts/ab-test.mjs $ARGUMENTS 调用,输出需原样展示,不应修改或摘要。子命令包括:start <skill-name> <path-to-version-b> 启动新测试;status 显示所有进行中的 A/B 测试;result <skill-name> 显示某技能的 A/B 测试结果;stop <skill-name> 停止进行中的测试。

适用场景:需要在真实使用中评估技能两个版本差异时使用。

限制:资料未提供安装方式、依赖要求、数据存储位置、测试时长或统计显著性等细节,暂未提供。