SuperAPI AI 工具集

ara-rigor-reviewer

写作与研究

查看项目

更新于 10-21 16:17

技能介绍

用途

ara-rigor-reviewer 用于对 Agent-Native Research Artifact(ARA)目录执行 ARA Seal Level 2 的语义认识论评审(Semantic Epistemic Review)。它接收一个 ARA 目录路径,产出一份综合评审报告 level2_report.json,写入 artifact 根目录。

该技能的前提是 Level 1(结构校验)已经通过:所有引用可解析、必填字段存在、探索树可正确解析、跨层链接双向一致。Level 2 不重复检查这些结构性问题,而是评估 ARA 的内容在认识论上是否可靠:证据是否真正支持主张、论证是否连贯、研究过程是否被诚实记录。

评审定位是建设性的:既识别优点也识别弱点,提供可操作的改进建议,并给出校准后的总体评估。它不是缺陷探测器,而是帮助作者改进工作的评审者。

主要能力

技能围绕六个评审维度展开,每个维度按 1-5 分打分,并包含优点、弱点与建议。所有检查都是语义性的,需要阅读理解与推理,而非结构校验。

  • D1 证据相关性:被引用的证据是否在实质上支持每条主张,而不仅仅是存在引用关系。
  • D2 可证伪性质量:证伪标准是否有意义、可操作、范围界定良好。
  • D3 范围校准:主张是否恰好断言其证据所支持的内容,不多也不少。
  • D4 论证连贯性:叙事是否遵循从问题到解决方案再到证据的逻辑弧线。
  • D5 探索完整性:探索树是否记录了真实的研究过程,包括失败。
  • D6 方法学严谨性:实验设计是否合理,是否具备充分的基线、消融与报告。

使用方式

技能完全通过原生工具(Read、Write、Glob、Grep)操作,不执行代码、不抓取 URL、不查阅外部来源。

执行流程如下:

  1. 按固定顺序读取 ARA 文件,并将该列表记录为报告中的 read_order:PAPER.md;logic/claims.md;logic/experiments.md;logic/problem.md;logic/concepts.md;logic/solution/architecture.md、algorithm.md、constraints.md、heuristics.md;logic/related_work.md;trace/exploration_tree.yaml;evidence/README.md(若存在);并从 evidence/tables/ 或 evidence/figures/ 中抽查 2-3 个证据文件。

  2. 解析实体:从 logic/claims.md 的每个 ## C{NN}: {title} 段落提取 Statement、Status、Falsification criteria、Proof(实验 ID)、Dependencies(主张 ID)、Tags;从 logic/experiments.md 的每个 ## E{NN}: {title} 段落提取 Verifies(主张 ID)、Setup、Procedure、Metrics、Expected outcome、Baselines、Dependencies;从 logic/solution/heuristics.md 的每个 ## H{NN} 段落提取 Rationale、Sensitivity、Bounds、Code ref;从 logic/problem.md 提取每个 O{N} 与 G{N};从 trace/exploration_tree.yaml 提取所有节点的 id、type、title 及类型专属字段(failure_mode、lesson、choice、alternatives、result)。

  3. 构建工作映射:claim_proof_map(每条主张 Proof 中的实验 ID 集合)、experiment_verifies_map(每个实验 Verifies 中的主张 ID 集合)、claim_dependency_edges(从每条主张指向其 Dependencies 的有向边)、gap_set(problem.md 中所有 G{N})、rejected_nodes(type = dead_end 或 pivot 的探索树节点)、decision_nodes(type = decision 的节点)。不校验结构完整性,Level 1 已保证。

  4. 对每个维度进行语义推理并记录优点、弱点与建议。

  5. 汇总发现:将六个维度中发现的所有问题收集为单一 findings 列表,每条发现分配 finding_id(F01、F02……)、dimension、severity(critical / major / minor / suggestion)、target_file、target_entity、evidence_span(必须为 ARA 中的逐字精确引用;若发现针对缺失内容则可省略)、observation、reasoning、suggestion,并按严重程度排序(critical 优先,其次 major、minor、suggestion)。

  6. 计算总体等级:取六个维度得分的均值,按映射表确定等级——Strong Accept(均值 ≥ 4.5 且无维度 < 3)、Accept(均值 ≥ 3.8 且无维度 < 2)、Weak Accept(均值 ≥ 3.0 且无维度 < 2)、Weak Reject(均值 ≥ 2.0 且(均值 < 3.0 或任一维度 < 2))、Reject(均值 < 2.0 或任一维度 = 1)。

  7. 写出报告:将 level2_report.json 写入 artifact 根目录,包含 artifact、artifact_dir、review_version(3.0.0)、prerequisite(Level 1 passed)、overall(grade、mean_score、one_line_summary、strengths_summary、weaknesses_summary)、dimensions(D1_evidence_relevance、D2_falsifiability、D3_scope_calibration、D4_argument_coherence、D5_exploration_integrity、D6_methodological_rigor,各含 score、strengths、weaknesses、suggestions)、findings、questions_for_authors、read_order。

适用场景

适用于对已完成 Level 1 结构校验的 Agent-Native Research Artifact 进行内容层面的认识论评审,帮助作者发现证据与主张之间的实质性问题、论证断层、范围失配、探索记录不真实或方法学缺陷,并给出可操作的改进方向。

限制

  • 前提是 Level 1 已通过;Level 2 不重新检查引用解析、字段存在性、YAML 解析或跨链接一致性。
  • 完全在 artifact 内部操作:不抓取外部 URL、不执行代码、不查阅外部来源,对 ARA 报告的证据按面值采信。
  • 支持必须流经 Proof → experiments.md → evidence/;problem.md、architecture.md 等散文中的一致表述不能替代实验证据。
  • 关于 ARA 中已存在内容的发现必须引用精确子串;关于缺失内容的发现可省略 evidence_span。
  • 评分需校准:多数合格 ARA 应落在 3-4 分区间;5 分表示真正优秀,1 分表示存在根本性问题。
  • 每条弱点都必须附带建议,评审需兼顾优点,不能只列问题。

补充说明

该技能的官方页面为 https://www.skills.sh/kalarislabs/research-agent-skills/ara-rigor-reviewer,来源为 kalarislabs/research-agent-skills。关于安装命令、收费方式、支持平台等具体信息,资料中暂未提供。