用途
benchmark-loop 是一个面向 VibeHQ 的全自动、自我改进基准测试循环。给定一个项目提示，它会自主设计团队、运行基准、分析结果、优化框架代码、重新构建，并反复迭代，全程无人值守。
主要能力
- 提示解析与团队设计：分析项目需求，按“1 智能体 = 1 独立工作域 = 1 目录”的原则确定最小有效团队组成，避免同一目录出现多个智能体导致文件冲突。团队规模依据独立工作域数量决定：1 个域为 2 人（PM + 1），2 个域为 3 人，3 个域为 4 人，4 个及以上域最多 5 人。
- 自动生成配置：为项目经理/编排者生成系统提示，写入临时文件；生成 spawn 配置 JSON，包含团队名、hub 端口与各智能体（名称、角色、子目录、系统提示文件）。工作智能体不生成自定义系统提示，使用 spawner 内置角色预设。
- 循环状态管理：创建并维护 loop-state.json，记录团队名（包含迭代编号，如
<project-name>-benchmark-v1，每轮使用全新团队名以避免状态残留）、基础团队名、项目提示、当前迭代、阶段、目标等级、最大迭代次数、hub 端口、基础目录、智能体列表、迭代目录与历史。 - 续跑机制：启动时始终先读取 loop-state.json，若存在且阶段非 completed 则从保存阶段续跑；否则视为全新运行。同时读取 history.jsonl 获取历史优化上下文。
- 基准运行：为第 N 轮迭代创建全新目录树与子目录，删除既有 hub-state.json，后台启动 hub，并通过 spawn 脚本派生智能体。平台适配：Windows 使用 .cmd 启动器配合
wt新窗口，macOS/Linux 使用 tmux 会话与平铺面板。 - 完成等待与轮询：每 30 秒轮询 hub-state.json，判断所有任务是否为 done 或 rejected；若状态文件长时间缺失或等待超过 20 分钟则停止并进入分析。
- 结果分析：先运行静态分析（不调用 LLM API），再直接读取 run_metrics.json、detected_flags.json、hub-state.json 与代码产出，由 Claude Code 自行生成报告卡。
- 四维评分：协作（权重 30%）、并行度（权重 25%）、产出质量（权重 25%）、成本效率（权重 20%），按 A（90+）到 F（<50）分级。
- 优化与重建：检查停止条件，运行优化协议修复问题，执行重建（
npx tsup），更新循环状态进入下一轮。
使用方式
以技能命令 /benchmark-loop 触发。参数可包含在引号内或 -- 之前的项目提示，以及可选标志：--target <grade>（目标等级，默认 B）、--port <number>（hub 端口，默认 3013）、--max-iterations <number>（最大迭代次数，默认 8）。
关键执行要点：
- 启动 hub：
node dist/bin/hub.js --port <hubPort> --team <team-name> &，后台运行并等待 3 秒启动。 - 智能体 spawn 标志：
--name、--role、--team、--hub ws://localhost:<port>、--skip-permissions、--auto-kickstart（关键：8 秒后自动注入初始提示）、--system-prompt-file（如适用）。 - 每个启动器需包含
set CLAUDECODE=（Windows）或环境变量前缀（macOS/Linux），以清除阻止嵌套会话的环境变量。 - 必须包含
--auto-kickstart，否则智能体派生后会空闲等待输入。 - 智能体之间等待 3 秒。
- tmux 查看：
tmux attach -t <sessionName>；停止：tmux kill-session -t <sessionName>。 - 轮询脚本：
node /tmp/vibehq-loop-poll.js <team-name>，配合sleep 30与 60 秒超时重复执行。 - 静态分析：
node dist/bin/analyze.js <log1.jsonl> ... --team <team-name> --save --run-id <project-name>-v<N>。
适用场景
- 需要无人值守、多轮迭代的自动化基准评测。
- 评估不同团队规模与协作方式对项目产出的影响。
- 通过循环优化框架代码，探索自我改进的智能体协作流程。
- 团队设计示例：REST API → 2 人；博客加管理面板 → 3 人；带支付的电商站点 → 3 人；数据管道加仪表盘与基础设施 → 4 人；加密迷因猎手 → 3 人。
限制
- 成本敏感：每个 Opus 智能体每次基准运行约 8–12 美元，3 人团队约 25 美元、5 人团队约 50 美元，建议在域不真正独立时使用更小团队。
- 团队规模上限为 5（PM + 4），以控制成本。
- 等待超过 20 分钟会判定基准可能卡住并继续分析。
- 状态文件长时间缺失（超过 5 分钟且未到 3 分钟加载窗口之外的异常情况）会提示用户。
- 平台特定细节、目录路径与端口在配置中指定；其他环境要求暂未提供。