SuperAPI AI 工具集

agentifind-benchmark

智能体与模型

查看项目

更新于 10-15 19:58

技能介绍

用途:创建基准测试基础设施,衡量 CODEBASE.md 帮助 AI 智能体导航代码库的效果。通过并行运行两个智能体(一个带指南、一个不带指南)并比较效率。

前提条件:需已存在 .claude/CODEBASE.md(先运行 /agentifind)和 .claude/codebase.json。

主要流程:

  1. 验证前提文件,缺失则提示先运行 /agentifind 并退出。
  2. 读取 codebase.json 的 repo_type 判断仓库类型:terraform 等 IaC 用基础设施模板,否则用应用模板,并识别语言、框架与关键模式。
  3. 创建 .claude/hooks 目录及 5 个可执行脚本:enforce-guide-restriction.sh(阻止无指南智能体读取 CODEBASE.md 或 .claude/ 文件并记录违规)、log-benchmark-tools.sh(记录所有工具调用)、analyze-benchmark.sh(分析结果)、track-turns.sh(跟踪轮次)、reset-benchmark.sh(清空日志)。执行 chmod +x .claude/hooks/*.sh。
  4. 创建或合并 .claude/settings.json,配置 PreToolUse 与 PostToolUse 钩子。
  5. 按仓库类型生成 .claude/BENCHMARK_ENGINEERING.md,包含 7 个任务(从查找配置到设计跨领域功能,难度递增)。

使用方式:运行 reset-benchmark.sh 重置日志;对每个任务在单条消息中用两个 Task 调用并行启动 WITH_GUIDE 与 WITHOUT_GUIDE 智能体(前台运行以获取 token 用量);记录对比表;可选运行 analyze-benchmark.sh 分析主智能体活动。

限制:子智能体指标依赖自我报告;分析脚本仅捕获主智能体工具调用;需 jq 等依赖;具体效果数据需实际运行后获得,资料未提供固定结果。