SuperAPI AI 工具集

prompt-engineer

智能体与模型

查看项目

更新于 10-15 22:41

技能介绍

用途:该技能面向 LLM 提示工程,帮助设计、优化和评估提示词,以提升模型在多种任务上的表现。适用场景包括为新 LLM 应用设计提示、优化现有提示的准确率或效率、实现思维链或少样本学习、创建带人设与护栏的系统提示、构建结构化输出模式(JSON 模式、函数调用)、开发提示评估与测试框架、调试不一致或低质量输出,以及在不同模型或供应商之间迁移提示。

主要能力:提供提示模式(零样本、少样本、思维链、ReAct)、优化(迭代改进、A/B 测试、减少 token)、评估(指标、测试套件、自动化评估)、结构化输出(JSON 模式、函数调用、模式设计)、系统提示(人设设计、护栏、注入防御)和上下文管理(注意力预算、退化模式、上下文优化)等参考指南。

使用方式:核心工作流为理解需求、设计初始提示、测试与评估、迭代优化、文档化与部署。若测试集准确率低于 80%,先识别失败模式再迭代。调试时一次只改一处。交付时提供最终提示(含角色、任务、约束、格式)、测试用例与评估结果、使用说明(温度、最大 token、模型版本)、性能指标与基线对比、已知限制与边界情况。

限制与约束:必须用多样且真实的输入(含边界情况)测试提示,用定量指标衡量表现,系统化版本管理,记录预期行为与已知限制,少样本示例需匹配目标分布,验证结构化输出符合模式,考虑 token 成本与延迟,生产部署前跨模型版本测试。不得未经系统评估就部署,不得使用与指令矛盾的少样本示例,不得忽视模型特定能力与限制,不得跳过边界测试,调试时不得同时做多处修改,不得在提示或示例中硬编码敏感数据,不得假设提示可完美跨模型迁移,不得忽视生产中的提示退化监控。参考文件覆盖 GPT-4、Claude 和 Gemini 系列模型特定指导。