用途:本指南面向使用 Ollama 构建检索增强生成(RAG)系统的开发者,覆盖本地运行与云端大模型两种方式,并给出模型选择、嵌入模型、技术栈与硬件参考。
主要能力与模型:Ollama Cloud 需通过 ollama signin(v0.12+)登录访问,无需本地存储,包含 deepseek-v3.2:cloud(671B,160K 上下文,推理)、deepseek-v3.1:671b-cloud、qwen3-coder:480b-cloud(480B,256K-1M 上下文,面向仓库级智能体编程)、minimax-m2:cloud(230B,10B 激活,128K,工具调用)、gpt-oss:120b-cloud、glm-4.6:cloud。本地模型分推理类(nemotron-3-nano 30B/3.6B 激活,1M tokens;deepseek-r1 7B-671B;qwq 32B;llama4 109B/400B)与高效类(llama3.2:3b、mistral-small-3.1、gemma3)。嵌入模型提供 snowflake-arctic-embed2、mxbai-embed-large、nomic-embed-text,资料建议精度优先选 snowflake-arctic-embed2,速度优先选 nomic-embed-text。
使用方式:快速开始命令如 ollama signin、ollama run deepseek-v3.2:cloud、ollama pull nemotron-3-nano、ollama pull snowflake-arctic-embed2。技术栈有 A)LangChain + ChromaDB,使用 OllamaLLM/OllamaEmbeddings 与 RecursiveCharacterTextSplitter 完成加载、切分、嵌入、检索与问答;B)LlamaIndex,配置 Settings.llm 与 Settings.embed_model 后建索引查询;C)原生 Ollama API + ChromaDB,依赖最少。向量库可选 ChromaDB、FAISS、Qdrant、Weaviate。
适用场景与限制:适合本地文档问答、长文档与代码库检索、需要隐私保护的部署。硬件参考为 3B 模型约 8GB 内存/4GB 显存,7-8B 约 16GB/8GB,30B 约 32GB/24GB,70B+ 需 64GB+ 内存与 48GB+ 显存。云端模型与价格、延迟、可用性等事实暂未提供,实际效果需自行验证。