用途:为任意 MCP 服务器生成评估测试,衡量工具选择准确率、参数正确性与多轮推理能力。基于 @mcpjam/sdk 构建评估框架(HostRunner、EvalTest、EvalSuite、validators),支持 Jest 与 Vitest,也可只用 SDK 独立运行。
主要能力:生成评估测试脚手架与环境配置;通过 MCPClientManager 连接 stdio 或 http/SSE 服务器;HostRunner 驱动 LLM 智能体执行提示并可设置 maxSteps、stopWhen、timeout;提供 mock 运行器实现无需 LLM 的确定性测试;PromptResult 可检查工具调用、参数、延迟与 token 用量;EvalTest、EvalSuite 支持多轮迭代、并发、重试与超时;提供多种工具调用匹配校验函数;可选用 MCPJam API key 将结果上报(含流式 reporter)。
必要用法:生成代码前需先收集连接类型(默认 http)、测试框架(从仓库检测,回退 vitest)、LLM 提供方(必须询问,不可默认)以及是否保存结果到 MCPJam(必须询问)。安装命令保持原文:npm 相关依赖为 @mcpjam/sdk latest,测试依赖按所选框架引入。LLM 提供方支持 openai、anthropic、google、mistral、deepseek、xai、openrouter、azure、ollama 及自定义,格式为 provider/model,并对应各自环境变量。
适用场景与限制:适合为 MCP 服务器的工具选择与参数正确性建立可重复评估,并可在 CI 中运行。限制或注意事项:提供方与保存选项必须由用户明确指定,否则不予生成;reporter 需在 afterAll 调用 finalize 才会保存,expectedIterations 必须等于实际上报结果数;stopWhen 只控制循环是否继续、不跳过工具执行;timeout 的实际提前停止取决于工具是否响应 abortSignal。收费标准、价格与平台等资料暂未提供。