SuperAPI AI 工具集

qwen-ollama

智能体与模型

查看项目

更新于 10-16 00:04

技能介绍

用途:通过 Ollama 在本地运行 Qwen 2.5 模型,实现文本分析、摘要、代码生成与结构化数据分析,无需云端依赖。

主要能力:支持生成补全与带上下文的对话两种 API;可用系统提示词定义角色与行为;支持温度等参数调节;Qwen 2.5 上下文窗口为 32K tokens。提供 qwen2.5:0.5b(约 500 MB)、7b(约 4.7 GB,推荐)、14b(约 8.7 GB)、32b(约 19 GB)等规格。

使用方式:先安装并拉取模型,再调用本地接口。 curl -fsSL https://ollama.com/install.sh | sh ollama pull qwen2.5:7b ollama list 生成接口为 POST http://localhost:11434/api/generate,对话接口为 POST http://localhost:11434/api/chat,请求体含 model、prompt 或 messages、stream 等字段。Rust 集成使用 reqwest、serde、serde_json、tokio,示例客户端设置超时并解析 response 与 done 字段。

适用场景:服务器日志分析、IPMI 传感器数据摘要、代码生成等本地自动化任务。

限制与注意:需先确认 Ollama 已安装且模型已拉取;分析任务默认超时 120 秒,复杂生成可延长;应校验 done 字段并处理网络、超时与解析错误;显存不足时改用更小模型,可用 ollama ps、nvidia-smi 查看,ollama stop 立即释放,OLLAMA_KEEP_ALIVE 控制自动卸载;生产环境以 systemd 服务运行,可配置 OLLAMA_HOST、OLLAMA_MAX_LOADED_MODELS 等环境变量。具体收费与价格信息暂未提供。