SuperAPI AI 工具集

ollama-api

编程与开发

查看项目

更新于 10-15 20:32

技能介绍

用途:把应用连接到本地运行的 Ollama 模型,通过 HTTP 接口完成对话、文本生成、向量嵌入等调用。默认基地址为 http://localhost:11434,模型需先在本地存在(ollama pull)。

主要能力与端点:POST /api/chat 用于多轮对话与流式输出;POST /api/generate 用于单次提示补全;POST /api/embeddings 生成向量;GET /api/tags 列出已拉取模型;POST /v1/chat/completions 为 OpenAI 兼容端点,便于复用现有客户端。

使用方式:chat 请求体包含 model、messages(system/user/assistant/tool)与 stream 字段,可通过 options 设置 temperature、num_ctx 等;模型名建议通过配置或环境变量固定,未拉取时明确报错。流式返回为 NDJSON,逐行读取直到 done 为 true;浏览器不宜直连时,可在服务端代理为 SSE,并向上游传播取消信号。OpenAI 兼容模式使用 baseURL http://localhost:11434/v1 与占位 apiKey "ollama",但并非所有 OpenAI 参数都被支持,需在目标模型上验证。

适用场景:本地模型对话应用、RAG 检索(embeddings 加索引)、需要复用 OpenAI 客户端的项目。

限制与注意:Ollama 应运行在服务端或后端,不要在没有认证或代理的情况下把端口暴露到公网;需处理超时与取消,生成可能耗时较长;并发过高时应在应用侧排队;健康检查可用 GET /api/tags 或短生成;避免在日志中记录含个人信息的完整提示词;不要假设所有模型都支持工具调用或视觉;生产环境更换模型前应做质量与延迟测试。GPU/CPU 与 num_parallel 会影响延迟,应在真实硬件上测量 p95。