SuperAPI AI 工具集

ara-rigor-reviewer

写作与研究

查看项目

更新于 10-15 15:56

技能介绍

ara-rigor-reviewer 是一款针对 Agent-Native Research Artifacts(ARA,智能体原生研究工件)的审阅技能,定位为 ARA Seal 的 Level 2:Semantic Epistemic Review(语义认知评审)。它的前一步是 Level 1 结构校验:引用可解析、必填字段存在、探索树可解析、跨层链接双向一致。Level 2 不再重复检查这些结构性问题,而是评估 ARA 的内容在认知层面是否站得住脚——证据是否真的支持声明、论证是否连贯、研究过程是否诚实记录。

用途

该技能接收一个 ARA 目录路径,产出位于工件根目录的 level2_report.json。它被设计为一名客观的研究评审者,同时强调建设性:既要识别优点,也要指出缺点,提供可执行的改进建议,并给出经过校准的总体评价。它不是缺陷探测器,而是帮助作者改进工作的评审者。

主要能力:六个评审维度

每个维度按 1-5 分评分,并附优点、缺点与建议。所有检查都是语义性的,需要阅读理解与推理,而非结构校验:

  • D1 证据相关性(Evidence Relevance):被引证据是否在实质上支持每一条声明,而不仅仅是存在引用关系。评估时结合声明类型判断实验设计是否匹配——因果类声明需要隔离性消融,泛化类声明需要异构测试条件,改进类声明需要基线对比,描述类声明需要代表性采样,范围限定类声明需要明确声明的边界。同时判断单一实验是否足以支撑该声明。
  • D2 可证伪性质量(Falsifiability Quality):证伪标准是否有意义、可操作、范围恰当。关注可操作性(独立研究者能否执行,是否规定测量对象、失败阈值与条件)、非平凡性(避免“如果方法不奏效”这类套话)、范围匹配(证伪标准与声明范围一致)、独立性(能否不依赖作者专有数据或系统即可检验)。
  • D3 范围校准(Scope Calibration):声明是否恰好断言了证据所支持的内容。检查过度声明(如“所有模型”“任何数据集”等全称限定词而证据只覆盖狭窄条件)、声明不足(证据中存在但未被任何声明覆盖的重要结果)、假设显式性(关键假设是否写在 problem.md 的 Assumptions 或 constraints.md 中)、泛化边界(是否清楚说明声明不适用的范围)、限定词一致性(“倾向于”“多数情况下”等模糊表达是否与证据强度一致)。
  • D4 论证连贯性(Argument Coherence):叙事是否沿问题—方案—证据的逻辑弧线展开。检查观察→差距推导、差距→洞察连接、洞察→方案对齐、方案→声明覆盖、跨层一致性(声明、探索树与证据是否讲同一个故事)、叙事完整性(有待回答却未回答也未明确推迟的问题)、差距覆盖(每个差距是否至少有一条声明实质回应)。
  • D5 探索完整性(Exploration Integrity):探索树是否记录了真实的研究过程,包括失败。检查死胡同质量(failure_mode 是否具体可执行、lesson 是否是可迁移的真知)、决策理据质量(是否解释为何选此路径而非替代方案、替代方案是否真实而非稻草人)、被否定分支一致性(是否有声明主张了树中被标为 dead_end 或 pivot 的方法)、探索广度(主要设计选择是否至少考虑并记录了两个替代方案)、诚实信号(是否为零死胡同或仅琐碎失败,可能暗示事后合理化)。
  • D6 方法学严谨性(Methodological Rigor):实验是否设计良好,具备充分基线、消融与报告。检查基线充分性、消融覆盖、统计报告(方差、置信区间、运行次数、统计检验)、指标与声明对齐、可复现性信号(模型名、数据集、硬件、超参数)。

使用方式

技能通过原生工具(Read、Write、Glob、Grep)运行,不执行代码、不抓取 URL、不查阅外部来源。流程如下:

  1. 按固定顺序读取 ARA 文件,并记录为报告中的 read_order:PAPER.md;logic/claims.md;logic/experiments.md;logic/problem.md;logic/concepts.md;logic/solution/architecture.md、algorithm.md、constraints.md、heuristics.md;logic/related_work.md;trace/exploration_tree.yaml;evidence/README.md(若存在);并从 evidence/tables/ 或 evidence/figures/ 抽查 2-3 个证据文件。
  2. 解析实体:从 logic/claims.md 提取每条 ## C{NN} 声明的 Statement、Status、Falsification criteria、Proof(实验 ID)、Dependencies(声明 ID)、Tags;从 logic/experiments.md 提取每条 ## E{NN} 实验的 Verifies(声明 ID)、Setup、Procedure、Metrics、Expected outcome、Baselines、Dependencies;从 logic/solution/heuristics.md 提取 ## H{NN} 的 Rationale、Sensitivity、Bounds、Code ref;从 logic/problem.md 提取 O{N} 与 G{N};从探索树提取所有节点的 id、type、title 及类型特定字段。
  3. 构建工作映射:claim_proof_map、experiment_verifies_map、claim_dependency_edges、gap_set、rejected_nodes、decision_nodes(不校验结构完整性)。
  4. 对每个维度进行语义推理并记录优点、缺点、建议。
  5. 汇总发现:为每条发现分配 finding_id(F01、F02…)、dimension(D1-D6)、severity(critical / major / minor / suggestion)、target_file、target_entity、evidence_span(必须逐字引用,若针对缺失则为空)、observation、reasoning、suggestion,并按严重程度排序。
  6. 计算总体评级:六个维度得分的均值,按映射给出 Strong Accept(均值 ≥ 4.5 且无维度 < 3)、Accept(均值 ≥ 3.8 且无维度 < 2)、Weak Accept(均值 ≥ 3.0 且无维度 < 2)、Weak Reject(均值 ≥ 2.0 且均值 < 3.0 或任一维度 < 2)、Reject(均值 < 2.0 或任一维度 = 1)。
  7. 写出 level2_report.json,包含 artifact、artifact_dir、review_version、prerequisite、overall(grade、mean_score、one_line_summary、strengths_summary、weaknesses_summary)、dimensions(六个维度的 score、strengths、weaknesses、suggestions)、findings、questions_for_authors、read_order。

适用场景

适用于已通过 Level 1 结构校验的 Agent-Native Research Artifacts,需要对其内容进行语义层面的认知评审时。目标用户是希望获得可执行改进建议、了解声明与证据是否匹配、论证是否连贯、探索过程是否诚实记录的研究作者或评审流程。

限制

技能明确不执行代码、不抓取 URL、不查阅外部来源,对 ARA 所报告的证据按字面接受。它不重复校验引用解析、字段存在、YAML 解析或跨链接一致性,这些由 Level 1 保证。评分需经过校准:多数合格 ARA 应落在 3-4 分区间,5 分代表真正优秀而不仅是“未发现问题”,1 分代表存在根本性问题。发现内容若涉及 ARA 中已存在的内容,必须引用精确子串;若针对缺失内容(如缺少基线、范围不匹配)则可省略引用。每条缺点都应附带建议,以保持建设性基调。关于定价、收费、平台支持或具体运行步骤等未在资料中提供的细节,暂未提供。