SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场dev-environment-roi-audit

dev-environment-roi-audit

部署与运维

查看项目

更新于 10-31 16:19

技能介绍

用途

本技能用于评估本地编码智能体（coding-agent）环境中各个组件（MCP 服务器、技能、命令、插件、钩子、记忆文件、指令文件等）的实际投资回报率。它不依赖通用最佳实践，而是通过真实日志和受控实验，测量每个组件是否节省了更多的循环时间，而不是增加了负担。审计结束后，会为每个组件做出有证据支持的决策：保留、缩小范围、按需启用或移除。

主要能力

  • 环境清点：独立清点每个主机的 MCP 服务器与插件状态（工具数量、schema 字节数、可写工具、敏感读取工具、初始化时间等）；测量技能常驻名称与描述和按需正文的字节数；发现指令文件、命令、钩子、记忆文件等，并分类为有效、冗余、过时或与代码矛盾。
  • 收益挖掘：发现所有候选会话根目录（包括重命名项目、移动目录、工作树等），逐个 JSONL 文件探测 schema 后计算 M1-M8 指标（如暴露但零调用的工具、包装器调用中嵌套的 MCP 名称、隐藏的失败等）。
  • 受控实验：在安装的 CLI 版本支持下，运行基线开销、技能触发准确率、反馈循环延迟、MCP 握手、候选重写等实验，保持提示、模型、工作目录和计时边界一致，避免将异步或漂移的运行当作因果 A/B 对比。
  • 独立解读：在用户要求盲审且至少两个独立 CLI 可用时，向每位评审者仅提供数据（01、02、03），不提供编排者的结论或其他评审者的输出，保留分歧并指出所需的额外测量。
  • 逐项决策：为每个组件建立一行表格（常驻令牌、窗口调用次数、使用率、错误率、ROI、决策），应用硬性阈值，不软化。对于重写行，记录采纳的变体及观察到的行为差异。
  • 安全清理：在移动或删除候选对象前，报告真实路径、大小、文件数、符号链接数、Git 元数据数、报告引用数、是否可复现等，优先将单个目标移到废纸篓而非永久删除，不绕过策略限制。
  • 最终报告：生成 FINAL.md，包含组件决策与数字证据、基线开销前后对比、指令矛盾及证据路径、独立评审分歧与后续测量、提议的指令文件（放在 proposed/ 下，不覆盖原文件）、3-5 条回归守卫、单独的 UNVERIFIED 列表。运行 finalize_audit.py 生成 MANIFEST.sha256。

使用方式

  1. 与用户商定绝对的 OUT_DIR 和分析窗口（默认 90 天，数据不足时报告实际窗口和会话数）。测量期间保持源和配置只读，仅写入 OUT_DIR。
  2. 运行初始化脚本：
    python3 <skill-dir>/scripts/init_audit.py --out-dir "$OUT_DIR" --window-days 90
    该脚本仅创建审计目录、记录所选窗口，并将辅助脚本复制到 $OUT_DIR/scripts/ 以便复现。
  3. 执行阶段 0 至阶段 7 的流程：初始化与能力探测、清点税费侧、挖掘收益侧、运行受控实验、独立解读、逐组件决策、安全清理工件、最终报告与完整性检查。
  4. 在计算 ROI 或提出决策前，阅读 references/metrics-and-decisions.md；开始前阅读 references/artifact-contract.md。
  5. 在更改配置、禁用组件、移动文件或删除任何内容前，要求逐项批准。完成审计不是无限制修改权限。
  6. 最终运行：
    python3 "$OUT_DIR/scripts/finalize_audit.py" --out-dir "$OUT_DIR"
    完成条件：范围内无待定用户决策、所有批准更改已验证、凭据残留计数为零、核心工件存在、清单验证通过。

适用场景

  • 编码智能体环境组件过多，需要量化每个组件的实际价值。
  • 怀疑某些 MCP 服务器、技能或钩子只增加开销而无收益。
  • 希望基于本地日志和实验证据而非通用建议优化环境配置。
  • 需要安全地清理运行时副本和依赖缓存，同时保留可复现证据。

限制

  • 需要用户提供绝对 OUT_DIR 并批准分析窗口。
  • 仅运行已安装 CLI 版本支持的实验。
  • 测量期间源和配置只读，写操作仅限 OUT_DIR。
  • 更改配置、禁用组件、移动或删除文件需逐项批准。
  • 无法建立独立性的盲审阶段应跳过并记录原因。
  • 不打印可能包含凭据的完整配置节点，仅输出键、值类型和长度。
  • 凭据不得出现在命令、输出文件、恢复副本或报告中。
  • 若意外显示秘密，需停止重复、识别受影响文件（不显示内容）、报告数量并请求明确批准进行清理或删除；在批准前将审计标记为因凭据残留而阻塞，并建议服务器端轮换。
  • 恢复工件仅包含目标组件并剥离认证字段，不备份整个配置。
  • 工具若创建订单、发送消息、写入仓库、管理凭据或读取个人/账户数据，即使服务器名称无害，也视为可写或敏感。
  • 不假设主目录布局、项目名称、账户别名或配置继承关系，需从机器发现路径和包装器。
  • 使用计数为零表示“本窗口内零观察”，而非“从未使用”，需保留观察范围。
  • 不将某一配置层列表中缺失的服务器等同于运行时初始化中缺失，当决策依赖运行时层时需验证。
  • 不将异步或配置漂移的运行当作因果 A/B 对比。
  • 阻塞的实验和缺失的 API 密钥标记为 UNVERIFIED。
  • 每个结论至少附一个测量数字；不支持的觀點放在 UNVERIFIED 下，不得混入发现。
  • 在解释之前展示结论所依赖的原始输出。
  • 每个测量步骤需说明应产生哪些数字。
  • 完成审计需要满足前述完成条件。
  • 不编造功能、收费、价格、平台、效果或使用步骤；资料未提供的内容暂未提供。