用途:在 Apple Silicon 设备上以 MLX 框架本地运行多种 AI 能力,包括 LLM 推理、图像生成、语音转文字和嵌入,全部请求留在本地网络。
主要能力:LLM 推理由 Ollama 使用 MLX 后端;图像生成支持 mflux(Flux 模型)与 DiffusionKit(Stable Diffusion 3/3.5);语音转文字使用 Qwen3-ASR;嵌入使用 Ollama 的 MLX 后端。统一通过一个路由器(端口 11435)提供 OpenAI 兼容接口与各类 API。
使用方式:安装 pip install ollama-herd,运行 herd 启动路由器,herd-node 在各设备运行并自动发现路由器。图像后端用 uv tool install mflux 与 uv tool install diffusionkit 安装。LLM 调用示例:client = OpenAI(base_url="http://localhost:11435/v1", api_key="not-needed")。图像生成、转写、嵌入分别通过 /api/generate-image、/api/transcribe、/api/embed 接口调用。仪表盘位于 http://localhost:11435/dashboard。
适用场景:Apple Silicon 上的本地推理与多模态任务,按芯片不同可运行 3B 至 120B+ 模型。
限制:仅面向 Apple Silicon;模型下载与删除需用户显式确认;不得删除或修改 ~/.fleet-manager/ 内文件。项目为 MIT 开源。具体性能与硬件适配细节以官方资料为准。