SuperAPI AI 工具集

deepseek-deepseek-coder

智能体与模型

查看项目

更新于 10-16 08:47

技能介绍

用途:在自有机器上本地运行 DeepSeek 系列模型,通过 ollama-herd 的机队路由器统一分发请求,避免云 API、按 token 计费与限流,数据保留在本地网络。

主要能力:支持 DeepSeek-V3、V3.1、V3.2、DeepSeek-R1、DeepSeek-Coder、DeepSeek-Coder-V2 等,Ollama 名分别为 deepseek-v3、deepseek-v3.1、deepseek-v3.2、deepseek-r1、deepseek-coder、deepseek-coder-v2。机队特性包括 7 信号评分选节点、自动重试与故障转移、VRAM 感知回退、上下文保护、请求标签统计;同一端点还支持其它 Ollama 模型、图像生成、语音转文字与嵌入。

使用方式:安装并启动。pip install ollama-herd;herd 启动路由器(端口 11435);herd-node 在各机器运行。可用 OpenAI SDK 或 Ollama API 调用,例如把 base_url 设为 http://localhost:11435/v1,或向 http://localhost:11435/api/chat 发送请求,模型名如 deepseek-r1:70b、deepseek-coder-v2:16b。仪表盘地址 http://localhost:11435/dashboard。

适用场景:需要隐私与零边际成本的多机本地推理,代码生成、推理、通用对话等按内存选择合适规模模型。

限制:资料未提供价格与具体性能数据;模型按需拉取,安装时不下载;拉取或删除模型均需用户确认,不得删除或修改 ~/.fleet-manager/ 文件。大型模型(如 671B)需 256GB+ 内存,内存不足时应改用更小变体。具体硬件与版本兼容信息以官方文档为准,本资料未提供全部细节。