SuperAPI AI 工具集

nemoclaw-user-configure-inference

智能体与模型

查看项目

更新于 10-16 02:34

技能介绍

用途:把 NemoClaw 的推理请求从云端 API 改为路由到本机模型服务器。沙箱内的智能体不直接连接模型服务器,而是由 OpenShell 拦截推理流量并转发到所配置的本地端点,统一使用 inference.local 路由模型。

主要能力:Ollama 为默认本地推理选项,onboard 向导可自动检测、启动、安装或升级 Ollama(最低版本 0.7.0),并校验模型是否支持工具调用与结构化 chat-completions 工具调用;非 WSL 主机上 Ollama 绑定 127.0.0.1:11434,并由 0.0.0.0:11435 的令牌鉴权反向代理对外提供访问。其他 OpenAI 兼容服务器(vLLM、TensorRT-LLM、llama.cpp、LocalAI、NIM、SGLang 等)通过“Other OpenAI-compatible endpoint”接入,默认使用 /v1/chat/completions。还支持已运行的 localhost:8000 vLLM、受管 vLLM,以及在 NEMOCLAW_EXPERIMENTAL=1 下管理本地 NIM 容器。

使用方式:先安装 NemoClaw,运行 nemoclaw onboard,在 provider 列表中选择 Local Ollama 或兼容端点。非交互示例:NEMOCLAW_PROVIDER=ollama NEMOCLAW_MODEL=qwen3.5:9b nemoclaw onboard --non-interactive --yes。完成后用 nemoclaw <name> status 确认 provider 与模型;运行时切换模型可用 nemoclaw inference set --provider compatible-endpoint --model <model-name>。

适用场景:本地聊天与智能体推理、无云 API 的离线或内网部署、WSL 配合 Windows 主机 Ollama、NVIDIA GPU 主机上的受管 vLLM/NIM。

限制:部分 Ollama 模型/模板组合在真实负载下会把工具调用返回为纯文本,此时需改用带 --enable-auto-tool-choice 与正确 --tool-call-parser 的 vLLM;模型不支持工具调用或泄漏工具调用 JSON 时 onboarding 会中止。Linux 用户本地安装不配置 systemd、不创建 ollama 系统用户、不装 CUDA 驱动,重启后需手动启动守护进程,且依赖 zstd。Windows 主机 Ollama 需要 Docker Desktop 的 WSL 集成。代理所有端点均需 Bearer 令牌。其他细节(注册表 slug、Hugging Face 令牌、NGC 登录等)暂未提供。