SuperAPI AI 工具集

mcp-release-qa

测试与质量

查看项目

更新于 10-15 21:52

技能介绍

用途:在 MCP 服务器发布前,用真实协议会话验证用户实际会运行的服务器,而非仅做 schema 审查或单元测试。它关注协议行为、已发布契约漂移、传输正确性和可复现的发布证据,与安全审查互补。

主要能力:从候选版本构建全新服务器进程,在同一会话中完成 initialize、notifications/initialized、发现与调用;对比源码注册、运行时发现、生成元数据和文档四类清单的一致性;检查工具、资源、资源模板和提示的已发布契约;测试初始化前请求、畸形 JSON、未知方法、不支持协议版本、重复初始化、未知名称、参数错误、传输大小限制和受控内部失败等失败路径;按文档执行安装命令并启动安装产物做冒烟测试。

使用方式:先确定候选提交、构建命令、入口点与传输方式(STDIO、Streamable HTTP 或 SSE)、支持的协议版本及注册源码文件,优先使用仓库自带命令。构建并启动干净服务器,记录命令、提交 SHA、环境变量名(值脱敏)、stdout/stderr 和退出状态。通过真实 MCP 客户端或集成测试工具跑完整会话,调用 ping 及各发现方法,对每类能力至少调用一个只读项,分页时跟进到无游标。按稳定标识符比对四类清单,用仓库构建命令重新生成派生文件。最后按指定格式报告命令结果、会话记录、一致性表、发现项和缺失证据,给出 PASS、PASS WITH CAVEATS 或 FAIL。

适用场景:MCP 服务器发布前 QA、协议契约回归、安装流程验证。

限制:不得对生产数据调用可变工具,应使用夹具、沙箱或明确缺失的安全测试环境;STDIO 下 stdout 仅用于协议,日志应走 stderr;无法启动、无法完成有效会话、传输不可解析或无法安全拒绝无效输入应判 FAIL;仅在有界文档或元数据漂移且不误导危险能力时用 PASS WITH CAVEATS。