SuperAPI AI 工具集

tech-prompt-engineering

安全与审计

查看项目

更新于 10-15 20:07

技能介绍

用途:这是面向已上线的 LLM 应用的提示词排错与加固技能,不讲解少样本、思维链等基础提示技巧,专门应对仅在真实生产中出现的故障。适用触发条件包括:生产功能表现异常(不一致、不安全、格式漂移)、为多租户应用设计系统提示词、加固防注入与越狱、模型版本更新后做回归诊断。单次内容生成或 RAG 架构设计不适用。

主要能力:以“默认把用户输入视为敌意”为核心原则,强调三条结构性防线——规则全部放在系统提示词、不把用户输入直接拼进指令、下游使用前先按预期 schema 校验输出。归纳六类生产故障模式及对应修复:提示注入(用户输入覆盖系统指令)、格式漂移(JSON 偶发破坏)、指令衰减(长上下文后规则被忽略)、静默回归(模型更新后输出变差)、压力下幻觉、跨模型可移植性。

使用方式:采用四阶段方法论。阶段一复现故障,记录输入、实际输出、期望输出、模型名称版本与温度,并在应用外最小用例中稳定复现;阶段二对照表分类故障模式;阶段三只针对特定故障做根因修复,不重写整个提示词;阶段四把失败用例加入回归测试集,每次改提示词或升级模型前运行。最终输出为“Prompt Debug Report”,包含复现信息、故障模式、根因、前后提示词差异形式的修复与回归用例。

限制与注意事项:系统提示词不是安全边界,充分对抗的输入仍可能改写行为,真正安全需靠输出校验与沙箱。温度 0 也不保证跨调用完全确定,测试应用语义或 schema 相等而非字符串相等。少样本示例的效力强于指令本身。供应商模型别名会静默更新权重,建议固定到带日期版本。上下文窗口大小不等于有效注意力,关键指令宜放在开头和结尾,避免“中间遗忘”效应。该技能附带注入模式、回归测试、跨模型测试等参考文档路径。具体实现依赖、费用与代码示例暂未提供。