SuperAPI AI 工具集

prompt-engineering

智能体与模型

查看项目

更新于 10-16 00:05

技能介绍

用途:在编写、审查或改进 LLM 流水线提示词时使用,包括任务提示、系统提示和 LLM-as-Judge 评判提示。

核心思路:提示工程要弥合两道鸿沟。规格鸿沟指开发者意图与实际写下的提示词之间的差距,自然语言精确描述任务很难,欠明确的提示会让模型猜测意图、输出不稳定;泛化鸿沟指数据与模型在多样输入上实际行为之间的差距,即使提示清晰,模型仍可能在异常输入上出错。处理顺序是先修规格,再衡量泛化:若失败源于指令不清,直接改提示;若指令清晰但模型仍错,才值得构建评估器。

提示词结构七要素:1 角色与目标;2 指令与响应规则;3 上下文;4 示例(少样本);5 推理步骤(思维链);6 输出格式约束;7 分隔符与结构。并非每个提示都需要全部要素。复杂提示建议开头写总体指令或角色,中间放上下文与示例,结尾重申关键指令或输出格式;为提升缓存效率,静态指令应放在用户数据之前。

迭代流程:写提示、在多样输入(尤其真实数据)上测试、分析输出找失败模式、分类为规格或泛化问题、针对规格问题改进提示、重复。

LLM-as-Judge 设计:每个评估器针对单一失败模式,做二元 Pass/Fail 判定,包含四项要素——清晰任务与评估标准、精确的 Pass/Fail 定义、少样本示例、结构化输出(通常为含 reasoning 与 answer 的 JSON)。

应避免的反模式:模糊指令、缺少边界情况处理、评估中使用李克特量表、示例与规则不一致、过长单体提示、评估未指定的行为。

限制:资料未提供该技能的具体安装命令、平台支持、收费方式或效果数据。