SuperAPI AI 工具集

prompt-engineering

智能体与模型

查看项目

更新于 10-15 11:11

技能介绍

用途

本技能是 prompt-engineer 智能体与 /prompt-optimize 命令背后的知识库。方法本身(提取行为契约、分类原型、诊断、重写、报告语义差异、为每条断言标注 predicted、measured 或 verified)由智能体与命令承载;本技能承载该方法所依据的知识,并拆分为仅在任务需要时才读取的参考文件。使用时应先读主文件,它会告诉你该打开哪个参考,以及每个参考预设你已经决定了什么。

真相来源

模型事实的更新速度快于任何随附文档。采用三级顺序,遇到第一个能回答的层级即停止:

  1. 目标模型的当前官方页面。Anthropic:platform.claude.com 上的 “Prompting best practices” 及逐模型页面。OpenAI:developers.openai.com 上的 Model guidance hub 与 reasoning best-practices 页面。Google:ai.google.dev 上的 Gemini 3 developer guide 与 Gemma prompt-formatting 页面。当提示词要进入生产时,应抓取该页面并确认重写中复述的任何厂商事实。
  2. 在该模型上的测量,可以是你的,也可以是同一模型同一任务上已发表的。
  3. 这些参考文件。仅作定位、带日期、引用;永远不是第 1 级的权威。

无法确认的事实是“未确认”,而不是“确认不存在”:在重写中标记为 (verify),而不是删除它或让它读起来像已核对过。

什么会衰减,什么不会

  • 稳定:方法本身——行为契约、原型感知评分表、语义差异、认知标签、审计深度。位于 prompt-engineer 角色中。
  • 缓慢:模式目录、抽取形态、强制阶梯、评判形态、智能体指令解剖。位于 reasoning-patterns.md、extraction-prompting.md、structured-output.md、judge-prompting.md、agent-instructions.md。
  • 模型敏感:思考模式、effort 名称、prefill、缓存倍率、结构化输出支持、Gemma 模板、下方的模型适配行。位于 model-guidance.md;每三个月刷新一次,类似 agent-sdk-builder 技能。
  • 已测量且带日期:每个带 arXiv ID 或厂商基准的数字。位于引用它的参考中;每个都带有核对日期。

模型类别门

每个参考都预设此决定已先行做出。把目标模型归入一个类别,然后读对应行;厂商的重要性低于类别。

  • 前沿推理模型(Claude 4.6 及以后、Claude 5 系列、GPT-5.x 与 GPT-6、Gemini 3、o 系列、API 上的 DeepSeek R1):思考控制用原生设置(Claude 上 effort,4.7 起 budget_tokens 返回 400;OpenAI 上 reasoning_effort;Gemini 3 上 thinking_level)。默认无推理脚手架,仅在最低 effort 设置下用简短显式计划。零样本优先;仅输入与输出;绝不用已展示的推理轨迹。输出形态:先询问,其次重试,第三用 API 结构化输出或 enum 工具;Claude 4.6 及以后已无最后一轮 prefill。优先测量:简单输入上的过度思考成本;解析失败率,以及若解析则错误但有效的比率。
  • 混合开源推理模型(Qwen3、Gemma 4、DeepSeek V3.x、gpt-oss):思考控制用模式 token 或思考 prefill,而非散文;9B 及以下深度自选,8B 到 32B 用草稿一致性路由。默认无推理脚手架;reasoning-patterns 参考列出免训练选项。零样本优先;仅输入与输出。输出形态:在服务栈中约束解码;提示词中的 schema 是礼貌,不是强制。优先测量:每个任务的 think 与 no-think;输出有效性。
  • 小型开源指令模型(Gemma 3、Llama 3.x 8B、Phi-4-mini、Mistral Small,以及 Ollama、llama.cpp、vLLM 或 Transformers 上约 30B 以下的任何模型):无思考控制。推理脚手架是逐模型选择:CoT 在该类别上测得从增益到 56 点损失不等,因此先测零样本。仅输入与输出,固定分隔符,抽取时用检索而非随机,保持简短;示例数量需扫描,因为一个示例修复了 Llama-3.1-8B 在 AG News 上的表现(0.53 到 0.87 macro-F1),八个示例又毁掉了它(0.55)。输出形态:至少验证并修复,栈支持时用约束解码;仅格式指令永远不是强制(8B 以下仅提示词的有效性测得为 61% 到 92%);思考关闭时仍可 prefill 开括号。优先测量:输出有效性优先;然后答案准确率与错误但有效的比率作为两个独立数字。
  • 较旧非推理模型(GPT-4 级、Claude 3.x、无思考的 Gemini 2.x):思考控制不适用。经典目录适用;CoT 在数学、逻辑和符号任务上有收益,在其他地方增加方差。示例:Claude 上用分隔块放 3-5 个多样示例(厂商);其他地方需扫描,因为 Llama-4-Scout 在某任务上零样本最佳,而 8B 需要两个示例。输出形态:API 有 JSON 模式则用;Claude 4.5 及更早用 prefill;验证并修复。优先测量:跨运行的格式漂移。

同时符合两行的模型(例如通过 Ollama 服务且思考关闭的 Gemma 4)在输出形态上取更保守的行,在思考控制上取更具体的行。

参考路由

  • 需要决定:提示词中是否该有推理脚手架、用哪个、token 成本多少;如何构建变体前沿的效率极。读 references/reasoning-patterns.md。它解决:选择速查表、各类别推理模型默认值、token 高效模式、成本感知选择。
  • 需要决定:如何让模型返回 JSON、schema、enum 或固定模板,以及在小模型上什么有效。读 references/structured-output.md。它解决:强制阶梯、每级成本、先推理后格式化顺序、仅提示词技术的实测合规率、服务栈选项。
  • 需要决定:如何为 NER、关系或事件抽取、文档字段、表格、分类编写提示词。读 references/extraction-prompting.md。它解决:逐任务形态、什么会失败、用于诊断的错误分类法、小模型操作顺序。
  • 需要决定:如何编写 LLM-as-judge、评分表验证器或评分器的提示词,以及哪些添加被测量为有害。读 references/judge-prompting.md。它解决:默认评判形态、逐类别表、杠杆表(参考、清单、量表、排列、严格度、人设、辩论)、一致性检查。
  • 需要决定:在智能体指令表面中什么有实测效果:工具描述、规则与指令文件、技能描述、历史范围、长任务持久性、编码智能体工作流。读 references/agent-instructions.md。它解决:描述解剖、护栏优于指导、逐模型历史范围、已验证状态、新鲜上下文测试生成,以及仍未测量的内容。
  • 需要决定:在复述某个命名模型前,厂商当前怎么说。读 references/model-guidance.md。它解决:带日期引用的厂商陈述及其对提示词的后果。

对于纯人设或单轮自由文本生成、无推理组件、无解析输出、无成本约束的提示词,跳过所有参考。这是角色审计深度规则中的快速通道,刻意保持低成本。

每个参考共享的两条规则

  1. 这些文件中的数字是在其命名模型上测量的,在你的模型上是预测的。把它当作假设应用,然后运行参考结尾处的评估。prompt-engineer 角色中的认知标签不是可选词汇。实测案例:跨模型世代,少样本效应从 Qwen2 到 Qwen2.5 平均反转,并从 GPT-3.5 到 GPT-4o 缩小(arXiv 2608.24641,ICSME 2026)。
  2. 效率极由调用方选择,永远不由优化器选择。当某项技术在准确率与 token 之间取舍时,呈现两端及成本,让调用方选择。