SuperAPI AI 工具集

fidelity-scoring

设计与创作

查看项目

更新于 10-26 09:39

技能介绍

用途

Fidelity Scoring 用于回答“这个设计包是否真正像原始参考”的问题。它由 fidelity-qa 代理执行,将设计包渲染结果与原始参考按页面逐一对照,从多个维度打分并给出通过或驳回的判定。该方法论强调忠实度与多样性是两个独立维度,不能互相抵消;只有 diversity_pass 与 fidelity_pass 同时成立,发布条件才算满足。

主要能力

  • 7 轴评分体系(每个 0-4 分,总分 28 分):

    • F1 合约履行:transform_contract 中 preserve/adapt/substitute/drop 义务的履行率,以及 page_mirror_plan 映射完整性。
    • F2 签名元素再现:must_preserve 动机的再现率。
    • F3 依据精确度:渲染中主要元素在原参考 observed 中有依据的比例(抑制幻觉)。
    • F4 关系语法:卡片解剖结构、重复规则、元素伴随关系、出现位置。
    • F5 注意力层级:前 3 个焦点元素与阅读顺序、相对面积与强调比。
    • F6 语义完整性:页面角色、图表类型、值、单位、顺序。
    • F7 权利边界:商标、标志、独家照片、图标、官方文案的替换情况。
  • 按 reference_mode 调整评分:

    • exact_document:使用全部 7 轴,总分 ≥23/28 通过。
    • official_system:使用 F1、F3、F4、F6、F7(F2 改为组件覆盖率替代,F5 豁免),总分 ≥20/24 通过。
    • historical_canon:使用 F2、F3、F4、F7(对照原理清单),总分 ≥13/16 通过。
    • style_synthesis:不进行忠实度评分(qa.fidelity = not_applicable),只需 diversity + craft 通过。
  • 通用通过条件:所有激活轴 ≥2 分;激活轴中 F1、F2、F3、F7 相关项至少 3 个;exact_document 模式下 page_mirror_plan 映射率 ≥80%。

  • 自动驳回条件(与分数无关):缺少源 sha256、页面数或 reference_mode 之一;未直接查看某页面却判定 pass;直接复制保护资产;数字、单位、图表方向错误 ≥1 处;签名页面缺失;spec_version 不一致;画布纵横比声明与实际渲染误差 >0.5%;style_synthesis 却声称 source_depth: full 或“原文再现”。

  • 输入防火墙:验证者只接收原始页面渲染(pages_src/)、设计包渲染(pages/)、transform_contract、page_mirror_plan、签名列表和评分规则;不接收创作者的推理、自评或 prompt.md 原文,以避免被意图说明影响判断。

  • 异种模型交叉验证:由与创作者不同系列的模型(示例命令使用 gpt-5.6-sol)进行抽样二次验证。抽样条件包括:批次首个设计包、一次总分在通过线边界(exact_document 为 22-24 分)、F7 ≤2 分,以及其他 20% 样本。未执行交叉验证的设计包需记录 cross_check: {status: not_run, reason: policy}。

  • 结果处理:两位验证者总分差 ≤3 分时取较低者;差 ≥4 分或总分在通过线边界或任一方 F7 ≤2 分时,标记 needs_human。

  • 成本控制:先运行确定性检查(哈希一致、纵横比、页面数、spec_version),不通过则不进行视觉验证;源整体把握用低分辨率 contact sheet,但设计包渲染需全页面原始分辨率查看;高分辨率精检仅用于签名页面和疑似失败区域;源 sha256 相同则复用之前分析,prompt/tokens 变化仅使渲染后分析失效,源变化则全部失效。

  • 输出格式:生成 JSON 文件 _workspace/{batch}/fidelity_qa/{slug}.json,包含 slug、reference_mode、source_sha256、pages_reviewed、pages_not_reviewed、axes 分数、total、verdict、hallucinated_elements、missing_signatures、cross_check、repair_requests 等字段。

  • 修复流程:验证者只写 repair_requests,不修改设计包;修改由负责的 curator 执行,修改后需重新渲染并生成新哈希再验证。

使用方式

该技能由 fidelity-qa 代理调用。验证者按照输入防火墙接收指定文件,运行确定性检查,再对照 7 轴评分规则逐页审查渲染结果,必要时启动异种模型交叉验证,最后输出 JSON 判定结果。若发现问题,只记录 repair_requests,不直接修改设计包。

适用场景

适用于需要对设计包渲染结果进行原文忠实度评估的场景,尤其是 exact_document、official_system、historical_canon 三种 reference_mode。style_synthesis 模式不适用忠实度评分。

限制

  • 不适用于 style_synthesis(该模式下 qa.fidelity = not_applicable)。
  • 验证者不修改设计包,只输出修复请求。
  • 未直接查看的页面不能判定 pass;缺少验证输入时记为 needs_review,阻止发布。
  • 图像查看限制或时间不足不能作为通过理由,只能作为 needs_review 理由。
  • 交叉验证为抽样而非全量,未执行时需明确记录。
  • 关于该技能的具体安装方式、收费模式、平台要求等事实,资料中暂未提供。