SuperAPI AI 工具集

prompt-evaluator

写作与研究

查看项目

更新于 10-31 14:14

技能介绍

prompt-evaluator 是一个供 Claude 在执行过程中读取的参考型技能,主要解决两类问题:一是分析开发者使用 Claude Code 的方式,二是评估和优化具体提示词的质量,以及检查提示词的输出稳定性。

一、使用分析模式 触发方式为 /prompts:evaluate [--days N],执行 node "${CLAUDE_PLUGIN_ROOT}/scripts/metrics/evaluate-prompts.cjs" --days 7。该模式从 .claude/metrics/prompts/{date}.jsonl 读取提示词日志,报告意图分布、功能利用率、复杂度画像、改进建议和使用评分(0-100)。若暂无数据,说明 prompt-logger 钩子会自动收集,需在若干次会话后重试。

二、提示词质量评估模式 触发方式为“评估这个提示词”“优化这个提示词”或用户直接粘贴提示词请求评审。流程分四步:

  1. 分类:推断意图、任务类型(coding/creative/RAG/agent/reasoning)、约束(格式、语气、工具)与目标模型。
  2. 打分:在清晰度、指令质量、效率、鲁棒性、输出对齐五个维度各按 0-10 评分。校准标准为 0-3 差、4-6 可接受、7-8 好、9-10 优秀。
  3. 检测问题:列出可能引起错误输出的歧义、缺失的约束、冗余指令、幻觉风险、结构薄弱、token 浪费等具体问题。
  4. 优化:输出两个改写版本——最小修复版(保留结构,只修问题)和生产版(针对 token 效率与确定性全面优化)。 输出为 JSON,包含 task_type、总分 score、五维 breakdown、issues、suggestions,以及 optimized_prompt 下的 minimal 与 production 两个版本。

评估原则包括:原则胜过清单(3 条清晰规则优于 20 条模糊规则);展示而非讲述(一个示例胜过一段解释);需要可解析输出时用 JSON/TOON/表格等结构化格式;删掉模型已知道的内容;只约束会变化的行为;关注 token 预算。

三、输出方差检查模式 当用户怀疑提示词不稳定,或在将提示词投入生产前,可用该模式。做法是在独立上下文中用相同输入运行提示词 3 次并比较输出。方差水平等于多次运行中不一致内容所占百分比:低于 10% 为 STABLE(可直接使用);10-30% 为 LOW VARIANCE(轻微差异,通常可接受);30-60% 为 UNSTABLE(需增加约束以减少歧义);高于 60% 为 CHAOS(使用前需重写)。检查维度包括结构(章节、格式、顺序是否相同)、关键事实(数字、名称、文件路径)、决策(结论或建议)、格式(JSON 键、表格表头)。文档给出的示例中,“Review this PR and list issues”运行 3 次方差为 42%(UNSTABLE),原因是未约束问题类别与严重度阈值,建议改为“List issues at severity >= warning. Categories: security, correctness, performance. Skip style/formatting.”。

适用场景:在提示词将反复运行(自动化、CI、面向客户)前使用;用户反映“有时输出 X、有时输出 Y”时使用;在锁定技能 SKILL.md 内容前使用。成本为单次运行的 3 倍,对将运行 50 次以上的提示词值得。

文档还列出应标记的反模式:删除“You are an expert...”(模型能力由模型选择决定);删除“Please note that...”等填充语;将“It is important to always...”改写为直接指令;同一规则在多处重复应去重;删除对 JSON 是什么的解释;琐碎任务不必写分步。

限制:使用分析模式依赖本地提示词日志,无数据时需等待日志积累;技能本身未提供安装步骤、收费或平台支持范围等信息,暂未提供。