SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场agent-practice-audit

agent-practice-audit

编程与开发

查看项目

更新于 10-31 16:19

技能介绍

Agent Practice Audit 要回答一个问题：这个人使用编码智能体的方式，距离厂商官方推荐还有多远，并给出证据。两种模式共用同一份实践清单 references/practices.json。

用途与模式

  • audit：输入最近 N 天（默认 60 天）的本地会话日志与智能体配置，输出 $AGENT_PRACTICE_AUDIT_DIR/reports/YYYY-MM-DD/ 下的 report.html 与 report-data.json。当用户问“我做得怎么样 / 给我打分 / 检查一下 / 我该改什么”时使用。
  • refresh：输入白名单内的官方页面，输出对 references/practices.json 的差异与 references/changelog.md 中的一节。当用户要求“更新实践清单 / 来源是否仍有效 / 补充厂商最近发布的内容”时使用。仅检查链接（不新增实践）属于 refresh 的第 1 步加第 7 步的校验。无法确定时用一句话询问；定时或无头运行时无人可答，就执行调用中指定的模式，不要停下来提问。

约束 对用户环境只读：不编辑 AGENTS.md、CLAUDE.md、设置、hooks、Codex/Grok 配置或会话日志；建议只写入报告，由用户决定。只写入 $AGENT_PRACTICE_AUDIT_DIR（默认 ~/.local/share/agent-practice-audit），不把审计输出写进仓库；写脚本会解析真实路径并拒绝在 git 工作树内写入。输出中不含密钥：配置扫描使用 scripts/config_scan.py，只报告大小、数量、拒绝规则覆盖类别（不报告规则本身）、环境变量名以及 Codex 键的白名单。每个 ok/part/no 都需要数字或文件事实作为证据；日志无法体现时使用 na 并说明原因。报告仅本地使用，不发布、不附带、不粘贴会话提示词片段。

audit 模式流程

  1. 设置 RUN 目录并创建 work 子目录。
  2. 提取：python3 "$SKILL_DIR/scripts/extract.py" "$RUN/work/sessions.jsonl" --days 60 自动识别 Claude Code、Codex、Grok、WorkBuddy 的日志目录（通配覆盖多账号），按宿主打印文件数并区分人工、无头、子智能体会话，找不到的宿主标记 not found。向用户引用该输出。若所有宿主均未找到或窗口内没有人工会话，则停止，说明搜索过的根目录，并提供更长的 --days 或自定义根目录；基于空数据的报告等于凭空评分。
  3. 聚合：python3 "$SKILL_DIR/scripts/aggregate.py" "$RUN/work/sessions.jsonl" -o "$RUN/work/summary.json"
  4. 扫描配置：python3 "$SKILL_DIR/scripts/config_scan.py" --summary "$RUN/work/summary.json" -o "$RUN/work/config-scan.json"（可加 --repo DIR）。
  5. 判定：对每条实践读取 detect 字段，在 summary.json / config-scan.json 中查数字，写出 judgments.json（状态、简短的表格摘要、带数字的证据、针对 part/no 的具体建议、信号嘈杂时的说明）。主要以人工会话判定；会话数少于约 10 的宿主只给说明，不给结论。写作要求：先给结论和数字，一句一事实；以用户、宿主或文件为主语；保留 subagent、headless、hook、sandbox 等英文术语；不用空话和表情。
  6. 生成报告：python3 "$SKILL_DIR/scripts/build_report.py" --judgments "$RUN/judgments.json" --summary "$RUN/work/summary.json" 自动计分并查找上一次运行（--previous none 跳过），打印分数、等级与升级阶梯。本地打开 HTML。
  7. 告知用户等级与分数、与上次相比的变化、阶梯（“修好这 N 项 → 等级 X”）、前三建议和报告路径，并标出无法核实的内容。定时运行时把同样内容写入通知文本（不含会话摘录）。

报告中来源：可访问的来源链接到实时页面并带文本片段；摘要标记 linkStatus: unreachable 的来源仍显示链接但标注原文暂时打不开，并附上摘要；basis: digest 的实践标注基于摘要。判定时需注意已知误报：纠错与命令检测是关键词匹配；读取任何图片都计为截图；长会话纠错更多部分因为轮次更多；Codex/Grok 的计划模式不总被记录。

refresh 模式流程 分两阶段：一个智能体提出，至少两个其他模型验证；不能仅凭一个模型的说法进入正式清单。

  1. 复查链接：python3 "$SKILL_DIR/scripts/check_practices.py" --fetch --update-digests 重新抓取每个来源，写入 linkStatus、lastVerifiedAt，并报告不再匹配的引文。失效链接在变更日志中标记，不删除，其对应实践回退到摘要。
  2. 提出（阶段 a）：阅读 references/sources.md，仅在白名单域名内检索，从种子 URL 出发；对每个候选抓取页面，复制不超过 25 词的逐字引文及更短片段（须与渲染文本匹配，以便 #:~:text= 链接定位）。候选写入实践结构：id、dimension（ctx、safe、doc、plan、verify、auto）、title、title_zh、sources[]、detect。第二个厂商说同样内容则作为该实践的另一个来源。
  3. 摘要：每个来源页需在 references/sources/<slug>.md 中写 frontmatter（slug、title、publisher、url、fetchedAt、lastVerifiedAt、linkStatus、finalUrl）、5-12 条自行撰写的 Summary 要点、以及 Cited quotes 列表列出所有被引用的引文。页面打不开时验证者使用摘要。
  4. 验证（阶段 b）：python3 "$SKILL_DIR/scripts/consensus.py" detect --exclude <proposer> 列出本机可用的验证 CLI（claude -p、codex exec -、grok -p、gemini -p）；对每个候选把页面文本（或不可达时的摘要）存为文件，用 consensus.py prompt 渲染提示，再通过标准输入发送给各验证者，例如 claude -p < prompt.txt > v-claude.txt。限制每次运行（如 --max-turns），输出不放入仓库。
  5. 裁决：consensus.py decide 应用规则：同意数 ≥2 且多于总数一半且无否决即采纳；总数为实际运行的验证者数（格式错误或无法解析的输出计为未同意）；quote_found 严格为 false 即否决。被拒候选写入变更日志的 未采纳 并附各验证者理由。运行验证者少于 2 个时，候选进入顶层 pending 列表为 pending-consensus，audit 模式忽略 pending。
  6. 种子复验：needs-consensus 为 true 的实践（20 条种子在 2026-10-31 有一名审阅者的人工检查）按第 4-5 步处理；被拒种子移入变更日志并附理由，移除生效实践前需询问用户。
  7. 校验与记录：运行 check_practices.py --fetch 直到退出码为 0。语义：每个来源须为实时验证（页面可达、片段与引文找到）或摘要验证（页面失效、不可达或被脚本渲染，且摘要的 Cited quotes 列出该引文）；仅在可达页面上引文或片段缺失，或页面不可读且摘要缺失/未列该引文时失败。摘要行形如 live: N/M ok, digest-verified: K, failed: 0。然后在 references/changelog.md 增加带日期的章节（新增、变更、未采纳、pending、标记链接、校验摘要行），并向用户展示差异。重命名 id 会破坏趋势对比，仅在变更日志注明时才做。

评分 ok = 10，part = 5，no = 0，na 不计。总分与各维度得分 = 已得 / 满分 × 100。等级：S ≥ 90、A ≥ 80、B ≥ 70、C ≥ 60、D < 60。维度：ctx（上下文管理）、safe（权限与安全）、doc（指令文件）、plan（先想后做）、verify（验证）、auto（并行与自动化）。等权重只是便于比较的约定，不是官方标准，展示等级时应说明。

调度 该技能不安装任何东西。references/scheduling.md 描述预期设置：refresh 每周远程运行（托管定时智能体或示例 GitHub Actions 工作流），以拉取请求形式交付，绝不直接推送到默认分支，由所有者合并后经正常技能更新被已安装副本获取；audit 每月在本地通过 launchd（macOS）或 cron / systemd 定时器（Linux）以无头智能体调用运行，报告就绪时发桌面通知。仅在用户要求时安装计划，并先向用户展示确切的文件。

相关技能：dev-environment-roi-audit 用消融法回答“这个工具、MCP 或技能是否值得保留”；本技能回答“我的用法离官方实践有多远”。当发现实质是某组件的成本或启动开销时，应指向那个技能而非在此评判。