SuperAPI AI 工具集

loom-prompt-engineering

智能体与模型

查看项目

更新于 10-15 20:29

技能介绍

用途:为 LLM 与编排智能体设计、优化提示词,包括系统提示、智能体信号(agent signals)与少样本示例,目标是提升输出质量、一致性与抗注入能力,并以可度量的迭代替代凭直觉调整。

主要能力:

  1. 提示词结构:按角色、指令、上下文、示例、输出契约组织;强调用正向指令替代禁止式表述,用具体交付物替代模糊动词。
  2. 分隔符与结构:用明确分隔符隔离指令与数据,Claude 模型对 XML 标签响应较好,可降低注入面。
  3. 少样本示例:2-5 个为宜,需覆盖难例、边界例与空/负例,格式统一,最后一个示例权重较高;示例与指令冲突时模型通常跟随示例。
  4. 思维链:多步推理(数学、规划、逻辑、模糊调试)适用;简单查询/分类不适用;推理模型已内部推理,不应手写 CoT;可用 <scratchpad> 标签保留推理但只输出最终答案。
  5. 输出格式契约:明确 schema,严格 JSON 用结构化输出/JSON 模式或工具 schema,可预填助手回合强制格式,并给出空结果情形。
  6. 确定性与温度:抽取、分类、代码等用温度 0 附近;创意用 0.7-1.0;评估时固定模型版本。
  7. 评估驱动迭代:建立 10-50 条带标注的评估集(含对抗样本),逐变量修改,像代码一样对提示词做版本管理。
  8. 提示词安全:假定非自撰文本均为敌意,明确指令层级(系统/开发者 > 任务指令 > 用户输入 > 检索/工具内容),用标签隔离不可信输入并标注为数据,输出需校验后再执行,遵循最小权限。
  9. 智能体信号(Loom 专用):在隔离工作树中运行,需内联全部信息,结构为任务、上下文、文件(只读/可改)、验收条件、边界(明确禁止项)。

使用方式:按上述结构编写提示词,用分隔符隔离数据,配置少样本示例与输出契约,设定温度与模型版本,建立评估集迭代,并对不可信输入做隔离与校验。

适用场景:指令设计、提示词优化、抽取与分类、模式锁定的代码生成、智能体任务信号编写。

限制:温度 0 也不保证跨运行/版本逐位一致;模型升级等同提示词变更需重测;资料未提供具体收费、平台支持范围与效果数据。