用途:自动配置 Ollama,实现本地大模型部署,消除托管 API 成本,支持离线 AI 推理。适用于需要本地 LLM、免费 AI 替代方案或希望减少托管 API 开销的场景。
主要能力:检测主机操作系统与硬件(uname -s、free -h、vm_stat、nvidia-smi),按可用内存推荐模型,按平台完成安装,拉取模型、验证推理、确认 REST API,并生成目标语言集成代码。
前置条件:macOS 12+、Linux(Ubuntu 20.04+、Fedora 36+)或 Docker;7B 模型至少 8 GB 内存,13B 需 16 GB,70B 需 32 GB+;可选 NVIDIA GPU(CUDA 驱动)或 Apple Silicon;磁盘 4-40 GB;包管理器 brew、curl 或 docker。
使用方式:按平台安装,例如 macOS 用 brew install ollama && brew services start ollama;Linux 用 curl -fsSL https://ollama.com/install.sh | sh && sudo systemctl start ollama;Docker 用 docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama。随后 ollama pull llama3.2,用 ollama list 与 ollama run llama3.2 "Say hello" 验证,并用 curl http://localhost:11434/api/tags 确认 API。集成可使用 Python ollama、Node.js ollama 或原始 HTTP。
限制:模型大小受内存制约,超限会内存不足;无 GPU 或 CUDA 驱动不匹配时 GPU 不被识别;默认端口 11434 可能被占用,可设 OLLAMA_HOST 更换;拉取超时可能需检查网络或在代理后重试。详细工作流见技能目录下的 references/skill-workflow.md 与 references/errors.md。