SuperAPI AI 工具集

prompt-engineering

智能体与模型

查看项目

更新于 11-13 06:22

技能介绍

用途

该技能面向编写 LLM 交互内容的场景,包括为 Agent 编写命令、钩子、技能,以及为子智能体或其他 LLM 调用编写和优化提示词。其目标是通过系统化的提示工程技巧,提升模型输出的准确性、一致性与可控性。

主要能力

  1. 少样本学习:用 2-5 组输入输出示例示范期望行为,而非解释规则。适用于需要统一格式、特定推理模式或处理边界情况的场景。示例越多越准确,但会消耗 token,需按任务复杂度权衡。资料给出了从客服工单中抽取关键信息的示例。

  2. 思维链提示:在给出最终答案前要求逐步推理。可加入“Let's think step by step”(零样本)或提供推理过程示例(少样本)。适用于多步逻辑、数学推理或需要核查模型思考过程的场景。资料称其可将分析类任务准确率提升 30-50%,并给出分析缺陷报告根因的分步示例。

  3. 提示词优化:通过测试与迭代系统改进提示词。从简单版本开始,测量准确率、一致性、token 用量等指标,在多样输入(含边界用例)上测试,并用 A/B 测试比较变体。资料以“总结文章”为例展示从简单指令到增加约束、再到增加推理的三版演进。

  4. 模板系统:用变量、条件段和模块化组件构建可复用提示结构,适用于多轮对话、角色化交互或同一模式复用于不同输入的场景。资料给出代码审查模板的 Python 示例。

  5. 系统提示设计:设置跨对话持续生效的全局行为与约束,定义模型角色、专业水平、输出格式与安全准则。稳定指令放在系统提示中,可把用户消息的 token 留给可变内容。资料给出后端工程师角色的示例。

结构模式

  • 渐进式披露:从直接指令开始,按需增加约束、推理步骤和示例,共分四级。
  • 指令层级:系统上下文 → 任务指令 → 示例 → 输入数据 → 输出格式。
  • 错误恢复:加入兜底指令、请求置信度评分、不确定时要求给出替代解释、说明如何标注缺失信息。

最佳实践与常见误区

最佳实践包括:指令具体、用示例代替描述、在多样输入上充分测试、快速迭代、生产环境监控性能、像管理代码一样对提示词做版本控制、记录设计意图。

常见误区包括:在尝试简单方案前就过度设计、示例与目标任务不匹配(示例污染)、示例过多导致上下文溢出、指令歧义、忽视边界用例。

集成模式

  • 与 RAG 系统结合:将检索到的上下文与少样本示例、用户问题组合,要求仅依据上下文作答,信息不足时明确说明缺失内容。
  • 与验证结合:在主任务后追加自检步骤,核对是否直接回答问题、是否只使用给定上下文、是否引用具体来源、是否说明不确定性,未通过则修订。

性能优化

  • Token 效率:删除冗余词句、首次定义后统一使用缩写、合并相似指令、把稳定内容移入系统提示。
  • 降低延迟:在不牺牲质量的前提下缩短提示、长文本输出使用流式、缓存常见提示前缀、尽可能批量处理相似请求。

Agent 提示最佳实践

资料引用 Anthropic 官方 Agent 提示最佳实践,核心要点包括:

  • 上下文窗口:上下文窗口是模型生成新文本时可回看的全部文本,相当于“工作记忆”。对话逐轮累积,历史完整保留,用量随轮次线性增长;资料以 200K token 容量为例说明输入阶段包含全部历史加当前消息,输出阶段生成的文本会成为后续输入的一部分。
  • 精简优先:提示词与系统提示、对话历史、其他命令和技能共享上下文窗口。默认假设模型已足够聪明,只补充其不具备的信息,并逐条质疑每段内容是否值得其 token 成本。资料用 PDF 文本提取的正反例对比约 50 token 与约 150 token 的写法差异。
  • 自由度分级:按任务的脆弱性和变化程度匹配具体程度。高自由度(文本指令)适用于多种做法均可行、依赖上下文判断的场景;中自由度(带参数的伪代码或脚本)适用于存在偏好模式但允许一定变化的场景;低自由度(具体脚本、少参数)适用于操作脆弱易错、必须严格一致的场景。资料用“两侧悬崖的窄桥”与“开阔场地”作类比。
  • 说服原则:详细内容指向 references/persuasion-principles.md。

适用场景

需要提升 LLM 输出一致性、可验证性和成本效率的提示词编写与调优工作,尤其是生产环境提示词、Agent 指令、子智能体提示、RAG 问答提示和代码审查类模板。

限制

资料未提供该技能的安装方式、依赖、平台支持范围、收费信息或量化效果基准(除思维链准确率提升的笼统表述外)。200K token 容量仅为资料中的举例说明,不代表所有模型。