用途:让 NemoClaw 把推理请求路由到本机模型服务器,而不是云端 API。沙箱内智能体不直连模型服务器,OpenShell 拦截推理流量并转发到配置的本地端点,统一使用 inference.local 路由模型。
主要能力与用法:Ollama 为默认本地选项,向导会自动检测;已安装未运行时自动启动,macOS/Linux 可代装。运行 $ nemoclaw onboard 后选择 Local Ollama,向导会列出已装模型或提供入门模型(大模型可放下时含 qwen3.6:35b 并默认选中),拉取、加载并验证;不支持工具调用或把工具调用以纯文本泄漏时会中止,需选择 ollama show <model> 能力含 tools 的模型。Linux 安装分系统安装(/usr/local,官方脚本)与免 sudo 用户级安装(${HOME}/.local),可用 NEMOCLAW_OLLAMA_INSTALL_MODE 覆盖;用户级安装不配置 systemd、不建 ollama 系统用户、不装 CUDA 驱动,重启后需手动重启动。非 WSL 主机上 Ollama 保持绑定 127.0.0.1:11434,并由 0.0.0.0:11435 的令牌网关反向代理对外提供,令牌存于 ~/.nemoclaw/ollama-proxy-token(0600)。
OpenAI 兼容端点:适用于 vLLM、TensorRT-LLM、llama.cpp、LocalAI 等实现 /v1/chat/completions 的服务器,默认用该路径;如需 /v1/responses 需设 NEMOCLAW_PREFERRED_API=openai-responses。向导选择 Other OpenAI-compatible endpoint,填入如 http://localhost:8000/v1,无鉴权时可填任意非空字符串;继续前会发送测试推理请求验证。
实验性托管选项:vLLM 可自动检测 localhost:8000 并查询 /v1/models;DGX Spark/DGX Station 或设置 NEMOCLAW_EXPERIMENTAL=1、NEMOCLAW_PROVIDER=install-vllm 后可托管安装启动(首次 10–30 分钟)。NIM 需 NEMOCLAW_EXPERIMENTAL=1,镜像在 nvcr.io 需 NGC 认证。vLLM 与 NIM 强制 chat/completions 路径。另提供超时配置、运行期切换模型、子智能体等参考文档。限制:WSL 场景不走代理,改用 Windows 主机;同一端口 11434 只应运行一个 Ollama 实例;部分模型在真实负载下可能以纯文本返回工具调用。