SuperAPI AI 工具集

local-coding

编程与开发

查看项目

更新于 10-16 05:48

技能介绍

用途:在自有硬件上运行开源编码模型,通过设备集群路由代码生成请求,代码不离开本地网络,无需 GitHub Copilot 订阅或云 API 费用。

主要能力:支持 Codestral(22B,80+ 语言、fill-in-the-middle)、DeepSeek-Coder-V2(236B MoE,21B 激活)、DeepSeek-Coder(6.7B/33B)、Qwen2.5-Coder(7B/32B)、StarCoder2(3B/7B/15B)、CodeGemma(7B)。可用于写新代码、代码审查、重构、调试。

使用方式:安装 pip install ollama-herd;运行 herd 启动路由(端口 11435),在各设备运行 herd-node 自动发现路由。集群暴露 OpenAI 兼容 API http://localhost:11435/v1,可接入 Aider、Continue.dev、Cline、Open WebUI、LangChain 等工具。示例:aider --openai-api-base http://localhost:11435/v1 --model codestral。可用 curl 调用 /v1/chat/completions 或 /api/chat。查看状态:curl -s http://localhost:11435/api/ps、/api/tags、/dashboard/api/traces?limit=5。

适用场景:按内存选择模型,8GB 用 starcoder2:3b 或 deepseek-coder:6.7b,16GB 用 codestral 或 starcoder2:15b,32GB 用 qwen2.5-coder:32b 或 deepseek-coder:33b,128GB 用 deepseek-coder-v2。跨平台,Mac、Linux、Windows 均可。

限制:安装时不下载模型,所有拉取需用户确认,模型体积 2GB 至 130GB+;删除模型需确认;不得删除或修改 ~/.fleet-manager/ 下文件。其他功能(通用 LLM、图像生成、语音转文字)资料有提及但非本技能重点。