用途:Docker Model Runner(DMR)让用户通过 Docker 在本地运行 AI 模型,本技能帮助在开发工作流中有效使用它进行本地 LLM 推理。
主要能力与用法:先运行 docker model version 检查是否可用,用 docker model list 查看已拉取模型,用 docker model search <query> 在 Docker Hub 或 HuggingFace 搜索模型,常见模型有 ai/gemma3、ai/llama3.2、ai/smollm2、ai/qwen3。运行前先 docker model pull <model> 拉取。运行方式包括:一次性提示 docker model run ai/smollm2 "Your prompt here";交互式对话 docker model run ai/smollm2;预加载 docker model run --detach ai/smollm2。
API:提供 OpenAI 兼容 REST 接口,端点 http://localhost:12434/engines/llama.cpp/v1/chat/completions,可用 curl 或 OpenAI 客户端库调用,本地推理无需 API key。
常用命令:docker model run、pull、list、search、ps、rm、inspect。
最佳实践与限制:开发时用较小模型(如 ai/smollm2)加快响应;脚本中用 --detach 预加载提升性能;模型会保持加载直到请求另一模型或超时(5 分钟)。详细文档见 references/docker-model-guide.md。