SuperAPI AI 工具集

repo-harness-assessment

编程与开发

查看项目

更新于 10-16 06:00

技能介绍

用途

Repo Harness Assessment 用于评估一个仓库在多大程度上能让智能体找到其规则、做出安全修改、验证这些修改,并产出可审查的证据。它是面向现有仓库的默认路由,同时也负责智能体入口点的设计,因为入口点是评估的导航层,而不是一个独立的 harness 系统。

主要能力

  • 评估仓库缺失哪些 harness 组件。
  • 创建、精简、协调或诊断 AGENTS.md、CLAUDE.md、GEMINI.md、Cursor 规则或 GitHub 指令。
  • 跨仓库比较入口点、验证命令、运行时证据、交付记录或质量门禁。
  • 判断下一步最小改进应当是入口点、验证脚本、产物包、账本、契约检查还是质量门禁。

使用方式

执行时需要以下输入:

  • 仓库根路径。
  • 用户范围:整个仓库、单个界面、仅文档工作、运行时行为、CI 或交付流程。
  • 用户指定的任何预期 harness 形态或成熟度目标。
  • 现有的智能体指令文件,以及是否需要镜像、生成或子树覆盖。

执行顺序:

  1. 首先读取仓库入口点和事实来源文件,包括智能体指令、README、架构或可靠性文档、索引、CI 和脚本。
  2. 然后将现有界面映射到 harness 角色,并检查入口点优先级、镜像、验证、证据、工作状态、交付、契约和质量。
  3. 最后报告成熟度、入口点操作、最小有用改进切片,以及暂不应构建的内容。

分步流程:

  • 使用 rg --files 或 find 列出智能体指令文件、文档、脚本、CI、工作状态界面、账本、报告和运行时产物。
  • 确定一个规范入口点,并将其他每个智能体指令文件分类为子树覆盖、符号链接、生成镜像或短指针。
  • 将根入口点保持在范围、事实来源导航、硬边界和最小命令上;将详细流程移至链接文档。
  • 在提议新文件之前,将当前产物映射到入口点、工作状态、账本、契约、验证、运行时证据和质量角色。
  • 检查是否存在稳定的验证矩阵,以及失败是否能关联到运行 ID、请求 ID、日志、截图、JSON/JUnit 输出、审查或提交。
  • 如果某个必需角色缺失,从 references/build-when-missing.md 定义最小引导产物;默认不要搭建可选角色。
  • 当多个智能体指令界面必须保持一致时,添加镜像或指针漂移检查。
  • 将差距压缩为不超过三个下一步,按价值和风险排序。

检查项:

  • 入口点:智能体能否在一分钟内找到首次阅读文档、编辑边界和最小验证命令。
  • 一致性:镜像不能静默漂移,指令优先级必须明确。
  • 结构:存在清晰的事实来源、目录边界模型和禁止新增漂移规则。
  • 验证:有一个本地最小命令和一个 CI 门禁命令。
  • 证据:失败可以关联到日志、追踪、截图或运行时产物。
  • 过度构建:在最小切片被证明合理之前,不要推荐完整平台、广泛脚手架或跨环境部署系统。

输出格式:

# Repo Harness Assessment

## Detected Mapping
- entrypoint:
- mirrors / subtree overrides:
- work-state:
- ledger:
- contracts:
- validation:
- runtime-evidence:
- quality:

## Entrypoint Decision
- canonical file:
- navigation changes:
- drift prevention:

## Current State
- Agent entrypoint:
- Source-of-truth docs:
- Validation surface:
- Runtime evidence:
- Delivery/ledger:

## Gaps
1.
2.
3.

## Recommended Minimum Slice
- First:
- Then:
- Finally:

## Do Not Build Yet
-

## Validation Needed
-

适用场景

  • 用户询问某个仓库缺失哪些 harness 组件。
  • 用户想要创建、精简、协调或诊断 AGENTS.md、CLAUDE.md、GEMINI.md、Cursor 规则或 GitHub 指令。
  • 需要跨仓库比较入口点、验证命令、运行时证据、交付记录或质量门禁。
  • 需要判断下一步最小改进应当是入口点、验证脚本、产物包、账本、契约检查还是质量门禁。

示例提示:

  • “评估这个仓库缺失哪些 harness 组件。”
  • “协调 AGENTS.md、CLAUDE.md 和 GEMINI.md,且不重复规则。”
  • “将这个仓库与成熟的运行产物模式进行比较。”
  • “智能体能否按现状安全接管这个项目?”

限制

常见错误包括:

  • 将 harness 成熟度简化为“有测试”。
  • 只读 README 而忽略脚本、CI 和真实产物。
  • 将规则复制到每个智能体专属文件,而不是选择一个规范来源。
  • 将根入口点变成项目百科全书。
  • 将环境变量、端口、账户或私有工作流细节从一个实现复制到另一个实现。
  • 产出长长的愿望清单,而不是小而可实施的改进切片。

关于共享词汇和中性产物名称,参见 ../../references/harness-patterns.md;当预期 harness 文件缺失时,使用 references/build-when-missing.md;关于规范入口点、镜像和漂移预防,使用 references/entrypoint-policy.md。