用途:当一个提示词、系统提示、智能体指令或 LLM 应用行为发生变化、需要被证明而非凭感觉判断时,用 nuke-eval 建立并运行评测。它把提示词修改视为代码改动,为其补上回归门禁。
主要能力:绘制提示词的“承诺地图”,列出可观察行为并按风险排序(任务成功、拒答与安全、格式契约、语气风格),标注已有评测覆盖或未覆盖;据此编写评测用例并运行;通过扰动检查验证评测集本身有效。
使用方式:参数为 [mode](light 默认、full、plan)和 [target](提示词/指令文件、智能体目录或默认 changed);--ask 会在预检计划处暂停确认,默认不停。流程为:预检(解析提示词清单、确定运行环境、估算 API 调用)→ 承诺地图 → 并行编写用例 → 扰动检查 → 基线或改动前后对比并报告。
限制与规则:无法失败的评测视为缺陷,会被删除;优先使用机械断言,LLM 评审仅用于断言无法覆盖之处;扰动一次只应用一个且必须回滚;不得执行 git add/commit/stash;模型调用产生费用,预检会给出估算;没有模型访问时只构建用例集并标记 NOT RUN —— 无模型访问,绝不伪造分数;改动后不在此处重写提示词,建议改用 nuke-prompt。缺少模型访问方式或细节时,评测结果无法给出。