Prompt Engineer 是一个面向大语言模型(LLM)的提示词工程技能,专注于设计、优化和评估提示词,以提升 LLM 在各类用例中的表现。
用途
该技能用于处理与提示词相关的工程任务,包括:为新的 LLM 应用设计提示词;优化现有提示词以提升准确性或效率;实现思维链(chain-of-thought)或少样本学习(few-shot learning);创建带有人设和防护栏的系统提示词;构建结构化输出模式(JSON 模式、函数调用);开发提示词评估与测试框架;调试不一致或质量较差的 LLM 输出;在不同模型或供应商之间迁移提示词。
主要能力
技能覆盖多个提示词工程主题,并配有对应的参考文件:
- 提示词模式(Prompt Patterns):零样本、少样本、思维链、ReAct,参考 references/prompt-patterns.md。
- 优化(Optimization):迭代改进、A/B 测试、减少 token,参考 references/prompt-optimization.md。
- 评估(Evaluation):指标、测试套件、自动化评估,参考 references/evaluation-frameworks.md。
- 结构化输出(Structured Outputs):JSON 模式、函数调用、模式设计,参考 references/structured-outputs.md。
- 系统提示词(System Prompts):人设设计、防护栏、注入防御,参考 references/system-prompts.md。
- 上下文管理(Context Management):注意力预算、退化模式、上下文优化,参考 references/context-management.md。
参考文件覆盖主要提示词技术(零样本、少样本、思维链、ReAct、思维树)、结构化输出模式(JSON 模式、函数调用)、上下文管理(注意力预算、退化缓解、优化),以及针对 GPT-4、Claude 和 Gemini 系列的模型特定指导。
使用方式
技能定义了核心工作流:
- 理解需求——定义任务、成功标准、约束和边缘情况。
- 设计初始提示词——选择模式(零样本、少样本、思维链),编写清晰指令。
- 测试与评估——运行多样化测试用例,衡量质量指标。
- 验证检查点——如果测试集准确率低于 80%,在迭代前先识别失败模式(如指令含糊、缺少示例、边缘情况缺口)。
- 迭代与优化——一次只做一处修改;根据失败情况改进,减少 token,提升可靠性。
- 文档化与部署——对提示词进行版本管理,记录行为,监控生产环境。
技能还提供了提示词示例,包括零样本与少样本的对比,以及优化前后的对比(例如将模糊的“总结这份文档”改为结构化、节省 token 的指令:用恰好 3 个要点总结,每个要点一句话并以动词开头,不包含文档中不存在的信息或观点)。
交付提示词工作时,技能建议提供:带有清晰分节(角色、任务、约束、格式)的最终提示词;测试用例与评估结果;使用说明(温度、最大 token、模型版本);性能指标及与基线的对比;已知限制与边缘情况。
适用场景
适用于需要系统性设计、优化和评估 LLM 提示词的开发与研究场景,尤其是对输出质量、一致性和可靠性有要求的应用。
限制
技能明确列出了必须遵守和禁止的事项。必须做:用多样化、真实的输入(含边缘情况)测试提示词;用定量指标(准确性、一致性)衡量表现;系统化地对提示词进行版本管理和变更追踪;记录预期行为和已知限制;使用与目标分布匹配的少样本示例;对照模式验证结构化输出;在设计时考虑 token 成本和延迟;在生产部署前跨模型版本测试。禁止做:未经系统评估就在测试用例上部署提示词;使用与指令矛盾的少样本示例;忽视模型特定的能力与限制;跳过边缘情况测试(空输入、异常格式);调试时同时做多处修改;在提示词或示例中硬编码敏感数据;假设提示词能在模型间完美迁移;忽视对生产环境中提示词退化的监控。