SuperAPI AI 工具集

model-context-builder

智能体与模型

查看项目

更新于 10-15 17:28

技能介绍

本技能用于指导 MCP(Model Context Protocol) 服务器的构建与评估,核心是评估题目设计。质量衡量标准不是服务器实现多少工具,而是其输入输出模式与描述能否让无其他上下文的 LLM 仅凭该服务器回答真实复杂问题。

主要能力:创建 10 道人类可读的评估题。题目须为只读、独立、非破坏性且幂等;每题需多次(可能数十次)工具调用;答案须单一可验证、稳定不变;应覆盖 ID 与名称、时间戳、文件名与扩展名、URL 等多样数据形态,并制造歧义但仍保证唯一可验证答案。输出为 XML 的 <evaluation> 与 <qa_pair>,含 question 与 answer。

使用方式:先阅读目标 API 文档并并行查看 MCP 服务器工具(不阅读实现代码、不调用工具),再以只读非破坏方式用 limit(<10) 增量分页探查内容,最后生成 10 题并验证。运行评估需安装依赖:pip install -r scripts/requirements.txt 或 pip install anthropic mcp,并设置 export ANTHROPIC_API_KEY=your_api_key_here。评估脚本 scripts/evaluation.py 支持 stdio、sse、http 三种传输;stdio 由脚本自动启动服务器,sse/http 需先自行启动服务器。

限制:题目不得依赖动态当前状态(如反应数、回复数、成员数),答案应用直接字符串比较验证,避免列表等复杂结构。部分官方说明在资料末尾被截断,具体细节暂未提供。