SuperAPI AI 工具集

memory-harness

智能体与模型

查看项目

更新于 10-15 20:30

技能介绍

memory-harness 是配合 do-memory-cli 使用的通用智能体记忆测试工具,核心用途是记录、回放并基准测试真实智能体会话,适用于测试记忆系统的学习效果、生成测试夹具等场景。

主要能力分为三种模式:record 模式在正常智能体工作过程中把实时会话捕获为 JSON trace;replay 模式回放 trace 并测量延迟,适合 CI 与基准测试;evaluate 模式运行 N 条 trace 来衡量学习效果,可作为质量门禁。

record 模式的基本用法:先创建 trace 目录与文件,例如 TRACE_DIR=".memory-traces"、mkdir -p "$TRACE_DIR",再通过 do-memory-cli --format json episode create --task "$TASK" --domain "$DOMAIN" 创建 episode 并取回 id,写入 trace 头部,之后在每次工具调用后用 do-memory-cli episode log-step "$EPISODE_ID" --tool "$TOOL" --action "$ACTION" --latency-ms "$MS" --success 记录步骤,最后用 do-memory-cli episode complete "$EPISODE_ID" success 完成 episode。

replay 模式可回放单条 trace,例如 bash .agents/skills/memory-harness/replay-trace.sh "$TRACE",也可遍历 .memory-traces/*.json 批量回放。evaluate 模式关注三项指标:模式数量应随数据增加而增长、搜索延迟应保持在 100ms 以下、检索相关性应逐步改善。

可记录的工具映射包括 Read→read、Grep→grep、Edit→edit、Bash(cargo test)→test、Bash(cargo build)→build、Bash(git)→git。trace 格式为包含 version、episode_id 和 steps 数组的 JSON,每个 step 含 tool、action、latency_ms、success。性能目标:episode create 小于 50ms、step logging 小于 20ms、episode complete 小于 500ms、100 个 episode 的搜索小于 100ms。

限制方面,资料未提供安装方式、依赖要求、支持的平台、收费与价格等信息,暂未提供。