用途:这是 Eval Author 的 audit 子流程,读取 eval-author 的共享标准与边界,从 <ethos_path> 和已审阅审计项生成并校验一个有限的覆盖分母,然后可对 ATIF 轨迹测量覆盖并汇总报告,同时写出可读的 audit-coverage-report.md 并与用户复核发现。它尚不生成任务。
主要能力:审计规格 v1 含三类条目——tool(规范工具名)、capability(高层行为)、failure_case(能力无法正常进行时的预期安全行为),以 name 作为稳定覆盖键且全文件唯一。脚本位于 scripts/audit_spec/:generate.py 从 ETHOS.md 与条目提案创建、协调、替换或预览 audit.md;measure.py 针对 audit.md 测量单个 ATIF 轨迹或 Harbor trial 目录;report.py 汇总各 coverage.json;validate.py 校验 audit.md 中被标记的规格块。产物写入 .eval-author/:audit.md、audit-coverage-report.md、audit-coverage-report.json、audit-progress.md。
使用方式:先接受引导式开场(含五步复选框),再进入 Understand your agent 与 Ethos 预检;生成命令示例:uv run --with pyyaml --with jsonschema <skill_dir>/scripts/audit_spec/generate.py --ethos <ethos_path> --items .eval-author/audit-items.yaml --out .eval-author/audit.md,默认 reconcile,可用 --mode suggest/replace 与 --items-mode full。校验:uv run --with pyyaml --with jsonschema <skill_dir>/scripts/audit_spec/validate.py --audit .eval-author/audit.md。测量用 --measure 选择方法,默认 tool_calls。
限制:在用户选定轨迹来源与位置前,不得运行可能暴露轨迹的整工作区文件列举或递归搜索;每个里程碑检查点须交还控制权并等待用户回复。审计操作不编辑客户源码、现有评测、事实来源文档或 ETHOS.md。校验只证明结构与引用,不证明分母完整或正确。source_refs 在 v1 仅为提示性来源说明。运行依赖见 requirements.txt;其余细节暂未提供。