SuperAPI AI 工具集

prompt-test

测试与质量

查看项目

更新于 10-15 22:37

技能介绍

用途:对内容输出变体做 A/B 测试,通过比较不同提示方式、标题风格、CTA 措辞或整体内容策略的质量评分,判断哪种方案效果更好。

主要能力:支持四种操作——create(新建测试)、log(向已有测试添加变体)、results(获取对比与胜出者)、list(列出全部测试)。记录变体时会先评估内容质量,产出幻觉、内容质量、可读性等维度分数及综合分,再连同变体描述一起记录。结果分析会给出胜出变体、领先幅度、置信度(>15% 高、5-15% 中、<5% 低并建议继续测试)、各维度表现、可复用洞察,以及低于自动拒绝阈值(默认 40)的变体标记。

使用方式:需提供操作类型、测试名称、变体标签、变体内容、变体描述,内容类型与证据文件可选。脚本位于插件 scripts/ 目录,需 Python 3.10 或更新版本,可用 python 或 python3 运行。创建测试:python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action create-test --test-name "{name}"。记录变体前先评估:python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-runner.py" --brand {slug} --action run-quick --text "{content}" --content-type "{type}"(文件用 --file "{path}");run-quick 忽略证据文件,若需核验声明可用 --action run-full --evidence "{evidence_path}"。随后记录:python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action log-variant --test-name "{name}" --variant "{label}" --data '{"description":"{description}","scores":{scores_json}}'。查看结果:--action get-results --test-name "{name}";列出测试:--action list-tests。

适用场景:测试邮件主题行风格(好奇心 vs 利益驱动)、标题方式(疑问 vs 陈述 vs 教程)、CTA 措辞(紧迫感 vs 价值 vs 社会认同)、语气变化(正式 vs 口语),或完整内容策略对比。

限制:依赖品牌上下文文件与插件脚本环境;若未设置品牌会提示先执行 brand-setup 或使用默认值。变体间距小于 5% 时无法明确判定胜出。具体收费、价格与平台支持情况暂未提供。