SuperAPI AI 工具集

prompt-optimizer

写作与研究

查看项目

更新于 10-19 18:04

技能介绍

Prompt Optimizer 是一个面向文本分类任务的提示词系统优化技能。它的核心方法称为“反思式进化”:先在真实样例上测试提示,检查错误并推理根因,再做针对性修改,同时探索多种提示策略以避免局部最优。

用途方面,该技能服务于需要为文本分类构建高质量 LLM 提示的研究者。一个项目可以是单一分类任务,也可以对同一语料应用多个维度(例如情绪、方向性、修辞风格)。每个维度拥有独立的提示和优化轨迹:阶段0-1统一定义所有维度,阶段2-5则按提示分别推进,允许不同提示以各自节奏收敛。

主要能力与原则:反思而非猜测,未经证据不修改提示;指令优先于示例,精心编写的指令通常优于少样本演示且更省 token;多样性避免死路,单一策略的爬山容易停滞;更短往往更好,聚焦的提示优于冗长提示;测量才能改进,标注样例与指标必不可少;用户是领域专家,负责验证实质准确性与标签定义,技能负责提示工程。

使用方式上,技能以七阶段工作流推进:阶段0任务定义与数据评估(明确输入文本、研究问题、分类方案、标注数据、约束与成功标准;无分类方案时走探索路径);阶段1种子提示构建(先沉浸阅读真实文本,再依据观察构建标签定义与输出格式);阶段2评估设置(审计金标准标签、划分开发/测试集、选择指标、建立基线);阶段3反思优化(2-4轮迭代,检查误分类、诊断定义性问题或指令性问题并做针对性修复);阶段4多样性探索;阶段5合并与选择;阶段6部署打包。阶段间需暂停供用户审阅,每阶段结束撰写备忘录,阶段6将备忘录综合为可发表的方法叙述。文件管理使用 git 跟踪进度,每阶段修改前先提交当前状态,不创建带版本后缀的副本。

适用场景包括社会科学文本标注、多维度内容分析、需要可复现方法记录的提示工程研究。限制方面:优化依赖标注数据与指标,无法测量则无法优化;金标准标签不一致时提示会过拟合噪声;人类标注者间一致性构成性能上限。具体支持模型、价格与效果等事实资料未提供。