SuperAPI AI 工具集

prompt-engineering

写作与研究

查看项目

更新于 10-15 21:52

技能介绍

用途:该技能用于设计清晰、可测试、可复用的提示词系统,覆盖提示词起草、优化、评估,以及少样本提示、推理工作流、模板和系统提示词等生产导向模式。主工作流保留在主文件中,仅在应用特定模式时加载 references/ 下的参考文件。

适用场景:用户要求编写、重写或改进提示词;提示词需要更好的结构、可靠性或输出格式;需要少样本示例或推理脚手架;需要创建系统提示词或可复用模板;需要对现有提示词做可度量的优化与测试。

核心模式:1)少样本学习,示例数量以3-5个为佳,兼顾上下文窗口,包含边界情况,由简到繁排序;2)思维链推理,可用“Let's think step by step”启动零样本 CoT,少样本 CoT 提供完整推理轨迹,可通过多路径采样实现自洽性,并加入验证步骤;3)提示词优化,先测基线,单变量改动,跟踪准确率、一致性、延迟、token 效率等指标,用统计显著性做 A/B 验证;4)模板系统,使用清晰变量命名(如 {user_input}、{context}),支持条件段落、角色模板和分层组合;5)系统提示词设计,包含角色与专长边界、输出格式要求、安全与内容政策、背景知识设定。

使用方式:工作流一为按需求创建新提示词,依次分析需求、选择模式策略、起草初稿、验证测试(至少3个输入:正常路径、边界情况、对抗输入),单变量改动并记录;工作流二为优化现有提示词,先做性能分析,再系统 A/B 测试,重跑相同测试用例,准确率低于基线则回退;工作流三为规模化提示词系统,做模块化架构、版本管理与回滚、性能监控、自动化测试。质量门包括:10个以上多样测试用例准确率>90%,3次以上重复运行方差<5%,边界与对抗输入均能处理,输出格式符合规范。

限制与注意:不要假设提示词越长越好;避免在简洁理由足够时暴露隐藏推理要求;声称改进前须在代表性输入上验证;模型相关假设需显式说明,因为不同模型行为不同;少样本示例控制在3-5个以管理上下文;生产前用领域测试用例验证。该技能可与 langchain4j-ai-services-patterns、langchain4j-rag-implementation-patterns、langchain4j-testing-strategies、unit-test-parameterized 等技能集成。