用途:在选定的真实代码库上,针对指定 CodeGraph 版本,衡量 CodeGraph 相对普通 grep/read 对智能体的帮助程度,驱动 scripts/agent-eval/ 中的评测框架。
前置条件:tmux 3+、已登录的 claude CLI、node、git(macOS/Linux),需在 codegraph 仓库根目录运行。
工作流程:1) 选择版本(本地开发构建、最新发布版或指定版本号);2) 读取 .claude/skills/agent-eval/corpus.json 选择语言;3) 从该语言条目中选择仓库(含大小与文件数);4) 选择 harness:Headless(claude -p 配合 stream-json,2 次运行,快,无 TTY)、Interactive(tmux,驱动真实 Claude TUI,2 次运行,较慢)或 Both(共 4 次运行);5) 后台运行:scripts/agent-eval/audit.sh <VERSION> <repo-name> <repo-url> "<question>" <MODE>;6) 任务结束后读取日志并按 arm 报告结果。
报告内容:Headless 通过 parse-run.mjs 输出工具调用总数、文件 Read 数、Grep/Bash 数、codegraph-tool 调用数、耗时与总成本;Interactive 通过 parse-session.mjs 输出 VERDICT 与 TOKENS 行。两条路径都会打印三项反馈指标:残余上下文占用、探索充分性、分配效率;Headless A/B 结束时输出并排的 ARM COMPARISON 表。需先检查污染行:CLI 调用返回输出大于 0 表示该 arm 通过 Bash 访问了 codegraph,其数据无效。应以成本与工具/Read 次数为主要可靠信号,原始 token 输入输出会受子智能体委派与提示缓存干扰。
限制与说明:每次运行都会重建索引(audit.sh 会清除 .codegraph),不同版本提取方式不同,索引必须由构建它的同一二进制提供服务;audit.sh 会临时修改全局 codegraph 安装,之后通过 local-install.sh 恢复开发链接;语料库仓库克隆到 /tmp/codegraph-corpus(已存在则复用);可在 corpus.json 中增改仓库(字段:name、repo、size、files、question)。