用途:Ollama 把模型权重、配置和运行时依赖打包成简洁的 CLI 与本地服务器,用于在本地运行开源大模型,支持原生工具调用。适合本地执行 Llama 3、DeepSeek-R1、Mistral、Qwen 等模型,也适合要求完全本地运行的隔离部署场景。
主要能力:可通过单条 CLI 命令运行模型,例如 ollama run llama3.2:3b "Write a Python script to compute Fibonacci numbers.";提供 Python SDK,可进行带流式与结构化 JSON 输出的对话,并支持通过 Pydantic 与 JSON Schema 约束类型化输出;支持用 Modelfile 定制系统提示、temperature、上下文长度与停止序列,并用 ollama create 构建自定义模型;提供 REST 与 OpenAI 兼容 API,可作为本地测试与开发流程中的替代方案。
使用方式:用 ollama pull 拉取模型,用 ollama run 运行;自定义模型时编写 Modelfile(FROM、PARAMETER、SYSTEM 等),再执行 ollama create code-guardian -f ./Modelfile。Python 中可调用 ollama.chat,并传入 model、messages、options(如 temperature、num_ctx)与 format。
限制与注意事项:不要在没有认证反向代理的情况下把 11434 端口暴露到公网;默认上下文并非无限,需要时显式设置 num_ctx;显存或内存不足时需改用更小量化版本。常见问题包括守护进程未启动(用 ollama serve)、CUDA 显存不足、下载中断(重跑 ollama pull)。