SuperAPI AI 工具集

mcpjam-eval-import

智能体与模型

查看项目

更新于 10-16 00:22

技能介绍

用途:把仓库中已有的测试转换为单个声明式 MCPJam 套件文件(.mcpjam/evals/*.yaml)。只读取源文件文本并写 YAML,不解析源格式、不运行源测试、不安装依赖,除用户审阅的套件文件外不上传任何内容。

主要能力与流程:先清点源文件并报出用例数(单套件上限 500 用例、每例 200 步),再按源格式套用对应转换规则:promptfoo YAML、pytest、Jest/Vitest、CSV(其他工具导出按 CSV 处理)。源无法提供的目标服务器(target.servers)、模型(defaults.model)和重复次数(repetitions/iterations)需向操作者询问,不得自行猜测模型 id 或工具/服务器名。

套件结构:schemaVersion "1"、mode agentWorkflow、reportingMode standard,每例含 steps(prompt/toolCall/interact/assert 四种)与 assertions(如 responseContains、toolCalledWith、noToolErrors 等既有谓词)。import 块需含 status 与稳定定位符 sourceCaseKey,note 记录所引规则或丢失内容。状态含义:exact(结构保留且可引规则)、approximated(有损)、unsupported(无法安全表示)、unresolved(依赖实况发现)。非 exact 用例需 disabled: true,仍会被同步但需人工复核后才运行。

验证与运行:用 npx mcpjam cloud eval validate --file .mcpjam/evals/<suite>.yaml --format human 循环修复至退出码 0;加 --project <id> 可联网校验工具名。运行用 mcpjam cloud eval run --file ...,会先做实况工具解析;近似用例须每次运行显式批准(--allow-approximated 与 --approval-reason),不支持持久接受。

限制:离线校验不重新解析工具/服务器;单套件最多 500 例、每例 200 步;文件上限 1 MiB;repetitions 超过 10 被拒;无启用用例的文件被拒;不支持执行型断言、自定义 provider 等。定价与更多支持信息暂未提供。