用途:对固定的运行时 ghostwriter 技能与固定私有画像,在真实留出写作样本上做盲测对照评估,比较“处理组”(技能+画像)与“原始模型基线”的差异。它只做候选生成、确定性盲化、人工评审和描述性报告,不训练画像、不修改语料、不用另一个模型打分,也不在人工选择前暴露处理组。
主要能力:scripts/run-eval.ts 在不打开参考文本的情况下生成候选;scripts/review-eval.ts 在生成后才拼接参考并记录人工选择。每对候选使用相同 CLI、模型、案例字节和输出契约,运行于全新的非持久会话;处理组额外接收完整运行时 SKILL.md 与平台画像,以 JSON 字符串无损编码,manifest.json 固定其原始字节哈希。
使用方式:先固定输入与运行器(cases.jsonl、已安装的 SKILL.md、私有画像目录、runs 目录、runner 与模型),预览提供方边界并获确认,然后运行:node scripts/run-eval.ts --cases <home>/evals/cases.jsonl --runtime-skill <installed-ghostwriter>/SKILL.md --profiles-dir <home> --runs-dir <home>/evals/runs --runner codex --model <model>;Claude Code 用 --runner claude。失败时保留目录并用 --run-id 加 --resume 重跑。随后运行 node scripts/review-eval.ts --run-dir <run-directory> --references <home>/evals/references.jsonl,逐例选择 a、b、tie 或 invalid。最后核对 labels.jsonl 与报告计数,保留不可变运行记录。
适用场景:需要验证写作画像是否真正改善输出、且要求可复现盲测证据的评估流程。
限制:处理组获胜不能单独归因于画像,因为未隔离画像的边际效应;训练来源不明的画像不支持无偏声明;案例、画像与技能不得含绝对或遍历式本地图片路径;Node 需 22.18 及以上,否则报 ERR_UNKNOWN_FILE_EXTENSION;不得给 run-eval.ts 加 --references,不得削弱 Codex 的禁用标志;评审开始后不得修改参考、盲候选、映射或已存标签;小胜率不能当作证明。