用途:FreeLLMAPI 是自托管的 OpenAI 兼容代理,将约 14 家免费额度提供商的 API Key 聚合到单一 /v1/chat/completions 端点,便于用统一接口调用多家模型。
主要能力:支持 Google、Groq、Cerebras、SambaNova、NVIDIA、Mistral、OpenRouter、GitHub Models、Hugging Face、Cohere、Cloudflare、Zhipu、Moonshot、MiniMax;在 429/5xx/超时时自动故障转移(最多 20 次尝试),按 (平台, 模型, Key) 跟踪 RPM/RPD/TPM/TPD 并自动冷却,多轮对话保持同一模型 30 分钟,密钥以 AES-256-GCM 加密存入 SQLite,提供 Keys、Fallback Chain、Playground、Analytics 仪表盘。
使用方式:需 Node.js 20+ 与 npm。 git clone https://github.com/tashfeenahmed/freellmapi.git cd freellmapi npm install cp .env.example .env echo "ENCRYPTION_KEY=$(node -e "console.log(require('crypto').randomBytes(32).toString('hex'))")" >> .env npm run dev(开发,仪表盘 :5173);npm run build 后 node server/dist/index.js(生产 :3001)。在仪表盘添加各提供商 Key、调整回退链顺序,复制统一 bearer token 后即可用 openai SDK、curl、LangChain 等以 base_url=http://localhost:3001/v1 调用,model 可填 auto 或具体模型名,支持流式与工具调用(Gemini 自动转换格式)。响应头 X-Routed-Via、X-Fallback-Attempts 可查看路由信息。
适用场景:个人或实验性多提供商免费额度聚合、需要自动故障转移与速率管理的本地 LLM 网关。
限制:仅文本,无视觉/多模态、无 embeddings、图像生成、音频、旧版 completions、moderation;不支持 n>1;单用户设计,无多租户计费;仅供个人/实验使用,生产前需查看各提供商 ToS。生产部署可用 PM2 与 nginx(需 proxy_buffering off 以支持 SSE)。