SuperAPI AI 工具集

recipe-eval-prompt

智能体与模型

查看项目

更新于 10-16 09:28

技能介绍

用途:评估提示词优化效果。系统将用户请求直接交给 prompt-analyzer 分析并生成优化后的提示词,再让原始提示词与优化提示词在相同条件下重复盲配对执行,最后生成对比报告,帮助用户从具体对比结果中学习有效提示技巧。

主要能力与流程:编排器本身不执行任务,仅在各子代理之间传递信息。步骤依次为:运行 worktree-execution 技能;调用 prompt-analyzer 做提示词分析与优化(输出含 analysis.pattern_coverage、analysis.findings、result.final_prompt、optimization.finding_resolutions,并通过 analysis_gate、optimization_gate、balance_gate 与 status 校验);在同一基础 SHA 上创建全新的原始/优化 worktree 对,同时并行调用两个 prompt-executor 执行;按 worktree-execution 的 Cleanup 段清理环境;分两阶段调用 report-generator,先盲评(匿名 A/B),再揭示身份(A=原始,B=优化);报告完成后收集反馈并交给 knowledge-optimizer。

配对有效性条件:两次执行均成功、均使用来自同一仓库状态的干净 worktree、都报告固定的基础 SHA、且都不含环境校验失败。目标收集 3 对有效结果,最多尝试 5 次;仅剩 2 对时降低置信度比较;不足 2 对则结论为 inconclusive,跳过胜负与推荐,只报告诊断信息。

改进分类:结构性(提示词结构与清晰度)、上下文补充(来自代码库的项目信息)、表达性(措辞不同但实质等价)、方差(属 LLM 概率波动,原提示词已足够)。

使用方式:命令为 /recipe-eval-prompt 加自然语言请求,例如“给 geminiService.ts 的 generateResponse 添加错误处理,处理 429、超时与无效响应”,或指向某个技能文件。若用户提到需要更多时间,超时可放宽至最多 1800 秒(默认 300 秒)。请求若完全无可识别目标,需先问一个问题确定范围。

限制与前置条件:需要支持 git worktree lock 的 Git 仓库、Claude Code 子代理执行权限以及足够磁盘空间。错误处理:单侧失败则排除该配对仅保留诊断;不足两对判为 inconclusive;全部失败则报告完整失败;超时终止并清理;worktree 创建失败则报告 git 错误并建议检查仓库状态。

最终输出需完整呈现优化后提示词全文,报告包含输入提示词全文、已应用优化、执行结果、对比分析与学习要点。收费、价格与平台等信息资料未提供。