用途
devtu-remote-provider 用于在 ToolUniverse 仓库的 src/tooluniverse/remote/<slug>/ 目录下,搭建、标准化或调试一个 GPU 支持的远程工具提供方(remote provider)。远程工具本质上是用户自己托管、通过 MCP 暴露的模型。该技能帮助维护者遵循 remote_resident/STANDARD.md 中定义的契约,并理解校验系统会拒绝哪些实现。
主要能力
- 结构规范化:指导建立两层环境——MCP 服务器(ToolUniverse 环境,仅 CPU)和常驻 worker(模型自身环境),两者通过 Unix socket 一次处理一个请求,共享面无依赖文件 remote_resident/protocol.py 按路径加载。
- 依赖隔离:说明为何需要两个环境(如 Boltz-2 的 torch 2.12.0+cu130 / triton 3.7.0 / numpy 1.26.4 无法与 ToolUniverse 其他 1000+ 工具共存),并要求 MCP 服务器不导入模型依赖、worker 不导入 ToolUniverse。
- 清单与校验:覆盖 provider.toml 清单、权重声明(大小与 sha256)、[runtime] outputs 或 output_keys 声明、status = "verified" 必须携带 verified_on、[kit] env_row、[kit.env] 等键的使用。
- 生命周期管理:要求 worker 具备空闲超时和孤儿看门狗,避免 worker 在服务器退出后继续占用 GPU。
- 验收测试:强调至少四个连续相同请求,再加一个改变引擎键的请求;四同请求只覆盖一次构建,重建才是危险点。
- 常见错误规避:列举大量实测陷阱,如构造时要求模型 CLI、信任下载退出码为 0、每个请求启动模型、在每次检查时哈希数 GB 数据、忘记包数据(pyproject.toml 中的 glob)、把冒烟测试当验证、假设 levers_off 能到达 kit、从有竞争的 GPU 引用墙钟时间、让库 fork、outputs glob 匹配无论成功与否都会写入的文件、输入上限与预算不匹配、信任不后续同步的探针、假设可安装的 wheel 一定能运行、假设 pip 遵守需求顺序、按冒烟规模设计消融、在决定性问题之外做调查、安装成功但内容为空的 wheel、读取固定命令而非其绑定的选项表、自己成为要逃避的负载、运行记得的测试而非整个目录等。
- 成本与显存阶梯:提供八个已验证提供方在 GB10 上的激活模式、冷启动到热启动时间、峰值预留显存及常驻保留内容的实测数据;并说明显存阶梯的形状(如 esmc 恒定约 29 GiB、openfold3 在 400 残基内可低于 6 GiB)比数字本身更重要,派生估算在两个方向上都会出错。
使用方式
该技能以文档和规则形式存在,通过阅读 STANDARD.md 并遵循其中的检查项来应用。需要运行仓库中的单元测试(如 tests/unit/test_remote_runtime.py、test_remote_schema_parity.py、test_remote_setup_preflight.py、test_remote_tool_boundaries.py)来验证提供方是否符合契约。部分检查可通过 run.sh check --mode <kit mode> 在主机上执行,无需权重即可打印拒绝原因。
适用场景
- 新增或修改 ToolUniverse 远程工具提供方。
- 调试远程 worker 的 GPU 显存、生命周期、依赖冲突问题。
- 为远程提供方编写验收测试和发布前检查。
- 评估不同模型 kit 的显存占用和宿主共租能力。
限制
该技能不提供具体模型的功能实现、收费、价格或平台信息;相关资料未提供这些内容。所有实测数据基于单一 GB10 主机(aarch64, cc 12.1),其他硬件上可能需要重新测量。技能本身不自动执行修复,需维护者按规则手动调整代码和清单。