SuperAPI AI 工具集

prompt-optimize

智能体与模型

查看项目

更新于 10-15 21:49

技能介绍

用途:当用户已有一段提示词,并且有一个能对该提示词所驱动的系统打分的命令时,用此技能自动迭代改进提示词以提升分数。不适用于从零撰写提示词、调参(权重/超参数),或没有可比分数的一次性手工修改。

主要能力:采用 OpenEvolve / AlphaEvolve 风格的进化优化。每轮只做一处质量导向的编辑,重跑评测,指标提升才保留,否则回滚到最佳快照。评测命令被视为黑盒,只运行、不修改,避免为刷分而作弊。

使用方式:先解析绑定项,若工作目录存在 loop.run.yaml 则加载并确认;否则交互式询问后写入该文件。关键绑定包括 prompt_file(待优化提示词)、eval_cmd(必需,打分命令)、objective(最大化或最小化)、target(可选提前停止分数)、sandbox_root(默认 ./sandbox)、budget(默认 10 轮)、patience(默认 3 轮无提升即停)。评测命令最后一行需输出 JSON(含 score、可选 feedback 及额外指标)或一个裸数字。

循环流程:第 0 轮跑基线并快照;随后每轮诊断当前最大弱点,从清晰度、上下文、具体性、结构、示例、分解、护栏等算子中选一个做单点修改;重跑评测读取新分数;按目标方向决定保留或回滚;记录 ledger.tsv(列为 iter、score、status、edit,status 取 baseline/keep/revert)。若连续多轮无提升,则从更早的高分快照分支或做更大胆的重构以跳出局部最优。停止条件为目标达成、平台期或预算耗尽,结束时恢复最佳提示词并报告分数轨迹与有效编辑。

限制:不得修改评测命令、数据或评分逻辑;只优化提示词且保持任务意图;每轮仅一处编辑并重跑完整评测;沙箱自包含,不使用 ../ 逃逸;循环中不暂停询问是否继续。资料未提供具体安装命令、收费与平台支持信息。