用途:kero-blind 用于对两组设计做并排盲测。评审者在不知道哪一侧是哪种条件的情况下投票,并为每对写一行理由。适合在两种方案、两个模型、两个提示词之间做取舍评估。
准备工作:准备两个文件夹,每个条件一个,同一需求使用相同文件名,例如 a/checkout.html 和 b/checkout.html。支持 HTML、图片和视频。文件夹以条件命名(如 with-skill、baseline),这些名称只在揭晓时显示。可选:提供一个 briefs 文件夹,每个名称旁边放 checkout.md,会显示在配对上方。两侧需保持同一需求、同一视口、同一模型设置,只改变一个变量。用于调优技能的 briefs 不应再用于验证,最终投票应使用全新的一组。
运行方式:node <skill-dir>/scripts/blind.mjs with-skill baseline --briefs briefs --viewport 1440x900。服务打开在 http://localhost:4747。每对的左右两侧会随机打乱,配对顺序也会打乱。按键:1 选 A,2 表示平局,3 选 B,方向键移动。每次点击都会把投票保存到运行目录下的 kero-blind.json,因此可以关闭会话后继续;在同一目录运行 --reveal 查看结果。所有配对投票完成后才会显示总计。揭晓命令:node <skill-dir>/scripts/blind.mjs --reveal,会按文件夹打印总计以及每条备注及其归属侧。
解读投票:备注比计数更重要。把反复出现的备注连同原因转化为一般原则,而不是直接抄成技能里的字面规则。仅因另一侧严重失败(布局损坏、文字不可读)而获胜只是底线,不是质量提升,应关注接近配对的胜负。平局也是结果:同一需求连续两次平局说明该改动在此处不重要。在评审者完成前,绝不要告诉他们哪一侧是哪种条件。
限制:同一需求、同一视口、同一模型设置需保持一致,否则投票无法衡量任何东西;每次只改变一个变量;用于调优的 briefs 不能用于验证。