SuperAPI AI 工具集

test-prompt

智能体与模型

查看项目

更新于 10-16 01:35

技能介绍

用途:在部署前测试提示词是否产生预期行为,覆盖命令、hooks、技能、子代理指令以及面向用户的LLM提示。核心原则是把TDD应用于提示词:若未先观察代理在没有提示时的失败,就不知道提示需要修复什么。

主要能力:采用RED-GREEN-REFACTOR循环。RED阶段用子代理在没有提示的情况下运行场景,逐字记录代理行为与错误;GREEN阶段针对已记录的具体失败编写提示,再用子代理验证失败是否消除;REFACTOR阶段修补漏洞、提升清晰度、精简token,并用全新子代理复测,确保行为不退化。还提供并行基线测试、A/B对比、回归测试、压力测试等子代理测试模式,以及按提示类型(指令、纪律强制、指导、参考、子代理)区分的测试策略与部署前检查清单。

使用方式:通过Task工具以general-purpose子代理运行场景,先不给提示取得基线,再带上提示重跑相同场景;子代理须为全新、不带对话历史或被测提示内容。纪律强制类提示需用带多重压力的现实场景测试其抗合理化能力。

适用场景:提示清晰度重要、要求一致性高、失败代价大或提示会被复用时。

限制:资料要求使用者须先掌握test-driven-development,建议了解prompt-engineering;未提供具体安装命令、收费、平台支持等信息。