用途
MemoryBench 集成技能用于自动将你自建的记忆/上下文系统与业界成熟方案进行基准测试。当你构建了自定义记忆系统、希望获得客观指标来对比行业方案，或正在考虑选用哪种记忆系统时，可以使用该技能。它支持在标准化数据集（对话记忆、RAG、对话）上进行评测。
主要能力
技能从项目根目录调用后，端到端处理完整基准测试流程：
- 询问 5 个设置问题：提供者名称、记忆代码位置、基准数据集、对比目标（多选）、测试规模。
- 使用 AI 代理分析你的记忆代码库，识别初始化、摄入（ingestion）和搜索方法，检测所需配置与 API 密钥，理解数据格式。
- 自动生成实现 MemoryBench 接口的提供者适配器，将你的记忆代码复制并适配到提供者中，必要时生成自定义提示词。
- 注册提供者：更新 src/types/provider.ts、src/providers/index.ts、src/utils/config.ts，并记录环境变量。
- 配置环境：创建 .env.local，收集你的提供者凭据、对比提供者密钥以及用于评判的 OpenAI/Anthropic 密钥。
- 验证：用单个问题快速测试，确认提供者初始化、摄入和搜索正常。
- 执行完整基准测试，实时显示进度（摄入、索引、搜索、回答、评估），并与所选竞品对比，展示准确率和延迟指标。
使用方式
从你的项目根目录调用（不要在 memorybench 目录内运行）：
# 在 Claude Code CLI 中调用技能
/memorybench
# 或以编程方式使用
skill:memorybench
技能会自动完成以下阶段：
- 设置：从 https://github.com/supermemoryai/memorybench 克隆 memorybench 到 ./memorybench，使用 bun 安装依赖，验证环境。
- 发现：用 AI 代理分析你的记忆代码库。
- 代码生成：创建提供者适配器。
- 注册：更新类型、提供者索引和配置。
- 配置：创建 .env.local 并收集密钥。
- 验证：单问题快速测试。
- 基准执行：运行完整基准并展示结果。
克隆命令（请勿修改 URL）：
git clone https://github.com/supermemoryai/memorybench.git memorybench
cd memorybench && bun install && cd ..
运行基准测试：
# 带对比
cd memorybench && bun run src/index.ts compare -p {providerName},{others} -b {benchmark} -l {limit}
# 不带对比
cd memorybench && bun run src/index.ts run -p {providerName} -b {benchmark} -l {limit}
查看结果与失败：
cd memorybench && bun run src/index.ts serve
cd memorybench && bun run src/index.ts show-failures -r {run-id}
基准数据集
- LoCoMo：跨多个会话、持续数天/数周的长期对话记忆。适用于聊天应用、AI 助手、客服机器人。
- LongMemEval：长文档与复杂检索的记忆。适用于 RAG 系统、文档分析、知识库。
- ConvoMem：多轮对话理解与上下文跟踪。适用于对话系统、面试机器人、会议助手。
对比目标
- Supermemory：快速混合向量 + 图记忆，自动提取。
- Mem0：面向 AI 代理的持久记忆，带图关系。
- Zep：长期对话记忆，自动摘要。
- Filesystem：基线向量搜索（无需 API）。
- RAG：带 LLM 提取的基线 RAG（无需 API）。
测试规模
- Small（5 个问题）：快速验证，约 2-5 分钟。
- Medium（20 个问题）：较好样本量，约 10-15 分钟。
- Full（全部问题）：完整评估，约 30-60 分钟。
适用场景
- 已构建自定义记忆/上下文系统，想了解其表现。
- 需要客观指标将你的实现与行业方案对比。
- 想在标准化数据集上做基准测试。
- 正在选型记忆系统，希望获得数据驱动的对比。
限制与注意事项
- 必须从项目根目录运行，不能在 memorybench 目录内运行。
- 需要 bun 环境，以及 OpenAI/Anthropic 密钥用于评判，可能还需要你的提供者和对比提供者的 API 密钥。
- 克隆必须使用指定 URL https://github.com/supermemoryai/memorybench.git。
- 常见问题：提供者未初始化（检查 .env.local 中的 API 密钥）、摄入失败（检查数据格式转换）、搜索无结果（检查 containerTag 处理与索引完成情况）、答案错误（可能需要为结果格式自定义提示词）。
- 关于收费、价格、平台支持等具体信息，资料中暂未提供。