用途:把提示词工程从试错转为结构化方法,覆盖目标定义、现有提示分析、变体生成、评估量规设计、测试用例创建与失败模式识别。
主要能力:生成 2-4 个变体,每个只改变一个变量,类型包括直接指令、少样本、思维链、角色设定、结构化输出;为每个变体给出假设与风险;设计加权评分量规(正确性、格式合规、完整性、简洁性、语气风格);创建至少 5 个测试用例,覆盖正常、边界、对抗与极限输入;输出结构化报告,含目标、成功标准、变体、量规、测试用例、需监控的失败模式与后续步骤。
参考文件:references/prompt-patterns.md(提示结构目录,始终加载)、evaluation-metrics.md(评估需要时)、failure-modes.md(失败分析时)、output-constraints.md(格式控制时)。
使用前提:明确目标、目标模型(GPT-4、Claude、开源模型,技巧因模型而异)、现有提示或任务描述。
校准规则:每个变体只改一个变量;声明成功前先测试,至少 5 个多样测试用例;失败模式比成功更有价值;注意模型特定优化;最简单有效的提示优先。
限制:不执行提示,只做设计与评估;对 LLM 不擅长的任务(数学、计数)会提示局限;安全关键决策不应仅依赖 LLM 输出;无明确目标时需用户提供 2-3 个“好输出”示例。
错误处理:目标不清时请用户定义好输出;变量过多时先聚焦影响最大的变量;无现有提示时从最简提示开始作为基线;格式要求严格时建议用 JSON 模式或函数调用而非仅靠提示约束。
不适用场景:任务不需要 LLM(确定性规则、正则、SQL);用户想要执行提示而非设计;安全关键决策无人工复核。