用途:在 eth-sri/agentbench 基准(138 个实例、12 个 Python 仓库)上运行并管理 claudemem 评测实验。agentbench 仓库与 claudemem 仓库同级,位于 ../agentbench/,下文路径均相对该仓库根目录。
数据布局:data/ 下含 eval-repos/(12 个已克隆仓库及预建 .claudemem/ 索引)、archives/(不可变索引快照 tar.gz)、eval-cache/(运行时哨兵缓存)、eval-generated/(生成的 CLAUDE.md)。索引规格 v2:增强模型 deepseek/deepseek-v3.2、嵌入模型 qwen/qwen3-embedding-8b(均经 OpenRouter),共 12 仓库、约 39K 符号、约 36K 增强文档、约 1.9GB,成本约 $0.25。huggingface_transformers 有 0 符号/文档(tree-sitter WASM 在元编程上报错),但向量搜索仍可用。
实验条件:no_plan(基线,2 workers,无 AGENTS.md)、claudemem_full(每实例,map+search 生成 AGENTS.md)、dc_planner(跨实例,Dynamic Cheatsheet 学习)、ace_planner(跨实例,ACE reflector+curator playbook)。实例过滤为 24 个(每仓库 2 个),硬编码于 run_condition.py。
常用操作:运行实验 cd scripts/agentbench/run_harness 后 python run_condition.py <condition>;恢复索引 ./scripts/agentbench/run_harness/restore_indexes.sh,或加 --archive 指定归档;重新索引单仓库 CLAUDEMEM_LLM=or/deepseek/deepseek-v3.2 claudemem index --force data/eval-repos/{slug},快速无增强用 claudemem index --no-llm;建立快照在 data/eval-repos 下执行 tar czf ../archives/indexes-$(date +%Y%m%d)-deepseek.tar.gz */.claudemem/。结果位于 scripts/agentbench/run_harness/output/agentbench/eth-sri_agentbench/{condition}/,用 python evaluate.py --condition <condition> --run_id <N> 评估,python analyze.py 做跨条件分析。
限制与注意:过滤条件勿直接在 shell 中传递(zsh 会转义 |),须用 run_condition.py;DC/ACE 顺序执行(workers=1),不能并行;索引缓存为三级;模型键为短名如 sonnet-4-5;generate.py 使用 fire.Fire(main);--no-llm 索引仅提供 map(PageRank 符号),完整增强才支持语义搜索;所有路径为仓库相对路径;增强模型从 76 次基准运行中选出(综合得分 0.886)。关键文件包括 planners/claudemem_planner.py、planners/ace/ace.py、planners/evo_reproducer/evo_reproducer.py 及 run_harness 下 generate.py、run_condition.py、restore_indexes.sh、evaluate.py、analyze.py。