用途:该技能用于测试、对比和衡量提示词表现,适用于比较两个提示词变体、定义质量/效率/鲁棒性指标,或判断是否用挑战提示词替换基线。
主要能力:覆盖质量(准确率、合规性、一致性、相关性)、效率(输入与输出令牌、延迟、成本)、鲁棒性(边缘案例、越狱抵抗、错误恢复)等指标,并给出基于规则的采用决策。
使用方式:按定义、准备、执行、分析、决策五步工作流执行。命令包括:/prompt test create --name "Test v1" --dataset tests.json;/prompt test run --a prompt_a.md --b prompt_b.md --dataset tests.json;/prompt test results --id test_001;/prompt test compare --tests test_001,test_002。可采用规则:若B准确率不低于A且令牌成本可接受、边缘案例无退化则采用B;若准确率提升超10%但令牌退化低于20%可考虑B作为权衡;否则保留A或迭代。
适用场景:提示词A/B测试、质量与效率评估、采用决策。
限制:需至少20个测试用例、15%至20%为边缘案例以获得统计显著性;提示词需版本化并文档化假设。详细指标定义、阈值与模板见metrics.md、methodology.md、templates.md。