SuperAPI AI 工具集

dspy-ollama

编程与开发

查看项目

更新于 10-15 23:58

技能介绍

用途:指导在本地通过 Ollama 运行 DSPy,实现无 API key、无云成本、完整隐私的本地 LLM 开发。Ollama 是包装 llama.cpp 的本地模型运行器,DSPy 经 LiteLLM 的 ollama_chat/ provider 连接。

安装与启动:macOS 用 brew install ollama;Linux 用 curl -fsSL https://ollama.com/install.sh | sh;Windows 从 ollama.com 下载。启动服务 ollama serve,拉取模型 ollama pull llama3.1,测试 ollama run llama3.1 "What is DSPy?"。

连接方式:使用 dspy.LM("ollama_chat/llama3.1", api_base="http://localhost:11434", api_key="", temperature=0.7, num_ctx=8192),再 dspy.configure(lm=lm)。api_key 必填但被忽略;dspy.OllamaLocal 已弃用。

主要能力:模型选择(Llama 3.1、3.2、Qwen 2.5/3、Mistral、Phi-4、Gemma 2、DeepSeek-R1、CodeLlama 等);按模块分配不同模型;用 BootstrapFewShot、MIPROv2 等优化器在本地做 DSPy 优化。

限制与注意:Ollama 默认上下文仅 4096 token,必须显式设 num_ctx,否则静默截断;num_ctx 越大显存开销越高,OOM 时需降低或换小模型。优化在本地比云端 API 慢得多,可能需数小时。首次请求因加载模型较慢。Apple Silicon 使用 Metal;Ollama 适合开发与原型,vLLM 适合生产高并发。