用途:该技能专注于为大语言模型设计、优化和评估提示词,以在多种用例下最大化模型表现。适用于为新 LLM 应用设计提示词、优化现有提示词以提升准确率或效率、实现思维链或少样本学习、创建带人设与护栏的系统提示词、构建结构化输出模式(JSON 模式、函数调用)、开发提示词评估与测试框架、调试不一致或质量差的输出,以及在模型或供应商之间迁移提示词。
核心工作流:一、理解需求,定义任务、成功标准、约束和边界情况;二、设计初始提示词,选择模式(零样本、少样本、思维链)并写出清晰指令;三、测试与评估,运行多样化测试用例并测量质量指标(验证检查点:若测试集准确率低于 80%,先识别失败模式再迭代,如指令含糊、缺少示例、边界遗漏);四、迭代优化,一次只改一处,依据失败情况改进、减少 token、提升可靠性;五、记录与部署,对提示词做版本管理、记录行为并监控生产表现。
参考指南按上下文提供:提示词模式(零样本、少样本、思维链、ReAct)、优化(迭代改进、A/B 测试、token 削减)、评估(指标、测试套件、自动化评估)、结构化输出(JSON 模式、函数调用、模式设计)、系统提示词(人设设计、护栏、上下文管理)。
必须遵守:用多样且真实的输入(含边界情况)测试;用准确率、一致性等量化指标衡量;系统化版本管理与变更追踪;记录预期行为和已知限制;少样本示例需匹配目标分布;验证结构化输出是否符合模式;设计时考虑 token 成本与延迟;生产部署前跨模型版本测试。禁止:未经系统评估即部署;使用与指令矛盾的示例;忽视模型特定能力与限制;跳过边界测试(空输入、异常格式);调试时同时做多处改动;在提示词或示例中硬编码敏感数据;假定提示词可在模型间完美迁移;忽视生产中的提示词退化监控。
交付时应提供:含角色、任务、约束、格式的最终提示词;测试用例与评估结果;使用说明(温度、最大 token、模型版本);性能指标及与基线的对比;已知限制与边界情况。参考文件覆盖主要提示技术、结构化输出模式以及 GPT-4、Claude、Gemini 系列模型特定指导,针对特定模型或模式设计前应先查阅相关参考。具体安装命令、平台支持与收费信息暂未提供。