SuperAPI AI 工具集

ollama-stack

编程与开发

查看项目

更新于 10-16 09:29

技能介绍

用途:在本地或隔离网络中部署大语言模型推理栈,适合私有开发、气隙环境、个人硬件运行模型、团队共享推理端点,以及在采用云端 API 前做原型验证。

主要能力:Ollama 提供模型拉取、运行与 OpenAI 兼容 API;Open WebUI 提供网页界面;LiteLLM 作为统一代理路由多个模型;支持自定义 Modelfile、嵌入模型、GPU 加速与监控指标。

使用方式:安装 Ollama 后启动服务并拉取模型,例如 curl -fsSL https://ollama.com/install.sh -o /tmp/install-ollama.sh && sh /tmp/install-ollama.sh && rm /tmp/install-ollama.sh,然后 ollama serve、ollama pull llama3.1:8b、ollama run llama3.1:8b。可用 Docker Compose 同时启动 ollama、open-webui 和 litellm 服务,并通过环境变量如 OLLAMA_NUM_PARALLEL、OLLAMA_MAX_LOADED_MODELS、OLLAMA_FLASH_ATTENTION 调优。API 端点位于 http://localhost:11434,支持 /v1/chat/completions、/v1/embeddings 和 /api/tags。

适用场景:本地开发、离线推理、团队共享端点、RAG 嵌入、代码生成与多语言任务。

限制:需要 8 GB 以上内存、GPU 需 NVIDIA 6 GB 以上显存或 Apple Silicon、Docker 及 20 GB 以上磁盘。基础设施命令可能影响服务,变更前应确认目标主机并备份。资料为文档导入,未捆绑上游脚本与模板。收费、价格与具体效果暂未提供。