用途
Evaluation Anchor Checker 用于修复智能体综述中一种容易招致审稿人质疑的失败模式:文中出现强有力的数值或性能陈述,但缺少最小的评测上下文。该技能把数值断言当作契约来处理:如果保留一个数字,同一句话必须包含足以解释它的协议上下文;如果证据中没有该上下文,则必须降级该断言,不得猜测。
主要能力
- 审查含数字(%、x 或数字)的句子,要求其附带“最小协议三元组”中至少两项:任务族/基准名称、指标定义、约束(预算、工具访问、成本模型、重试、时间范围等)。
- 无法满足时进行降级:删除数字并改写为定性表述(如 often、can、may),保留原引用;或将具体性转为验证目标(如“评测需要报告……”),不添加新事实。
- 避免看起来像幻觉的模糊模型命名(例如“GPT-5”),除非被引论文逐字使用该名称。
- 不发明数字,不添加、删除或移动引用键。
- 生成可审计的完成产物 output/EVAL_ANCHOR_REPORT.md,报告检查、修改和弱化的句子。
使用方式
该技能在综述流水线中作为合并前最后一次章节级数字卫生清扫,建议在 style-harmonizer、opener-variator、section-logic-polisher 和 paragraph-curator 之后、最终 argument-selfloop 快照与合并之前使用。
输入:
- 首选(合并前,保持锚定完整):受影响的 sections/*.md 文件。
- 可选上下文(只读,帮助避免猜测):outline/writer_context_packs.jsonl(查找 evaluation_anchor_minimal、evaluation_protocol、anchor_facts)、outline/evidence_drafts.jsonl / outline/anchor_sheet.jsonl、citations/ref.bib。
输出:
- 更新后的 sections/*.md(若已合并则为 output/DRAFT.md),带有更安全的评测锚定。
- output/EVAL_ANCHOR_REPORT.md(始终生成;简短报告,列出检查/修改/弱化的句子)。
- 可选完成标记:output/eval_anchors_checked.refined.ok。
工作流:
- 使用 outline/writer_context_packs.jsonl 定位子章节允许的引用及提取的 evaluation_protocol/anchor_facts。
- 在改动数字前,交叉核对 outline/evidence_drafts.jsonl 和 outline/anchor_sheet.jsonl 中的任务/指标/约束上下文。
- 对照 citations/ref.bib 验证每个引用键(不引入新键)。
- 写入 output/EVAL_ANCHOR_REPORT.md,使流水线拥有可审计的完成产物。
脚本快速开始: uv run python .codex/skills/evaluation-anchor-checker/scripts/run.py --workspace <workspace>
全部选项: --workspace <dir>:包含 sections/.md 或合并草稿产物的工作区 --unit-id <id>:可选的 harness 元数据 --inputs <semicolon-separated>:可选的来自 UNITS.csv 的输入覆盖 --outputs <semicolon-separated>:可选的输出覆盖;默认包含 output/EVAL_ANCHOR_REPORT.md --checkpoint <C>:可选的 harness 元数据
示例(合并前运行数字卫生清扫): uv run python .codex/skills/evaluation-anchor-checker/scripts/run.py --workspace <workspace> --inputs 'sections/.md;outline/writer_context_packs.jsonl;citations/ref.bib' --outputs 'sections/.md;output/EVAL_ANCHOR_REPORT.md;output/eval_anchors_checked.refined.ok'
适用场景
- 技术综述或智能体综述在合并前需要统一检查数值断言的上下文完整性。
- 章节级改写后可能重新表述或融合了数值句子,需要在合并前进行低成本、保留引用锚定的修复。
- 需要生成可审计报告以证明数字卫生检查已完成。
限制
- 不发明数字,不添加、删除或移动引用键。
- 若协议上下文缺失,只能弱化或删除数值断言,不能猜测补充。
- 模糊模型命名除非被引论文逐字使用,否则应避免。
- 该技能依赖提供的输入文件和引用库;缺失事实暂未提供。