用途
本技能是一份面向开发者的参考指南,汇总提供永久免费层文本推理能力的 LLM API 提供商,强调没有试用额度、没有到期时间。资料按“自研模型提供商”和“托管开源模型的推理提供商”两类组织,便于在原型开发、学习实验或低成本集成时挑选合适的免费端点。
提供商概览
自研模型提供商包括:Cohere(Command A、Command R+、Aya Expanse 32B,20 RPM、每月 1K 请求)、Google Gemini(Gemini 2.5 Pro、Flash、Flash-Lite,5–15 RPM、100–1K RPD,不覆盖欧盟/英国/瑞士)、Mistral AI(Mistral Large 3、Small 3.1、Ministral 8B,1 请求/秒、每月 1B token)、智谱 AI(GLM-4.7-Flash、GLM-4.5-Flash、GLM-4.6V-Flash,限流未公开)。
推理提供商包括:Cerebras(Llama 3.3 70B、Qwen3 235B、GPT-OSS-120B,30 RPM、14,400 RPD)、Cloudflare Workers AI(Llama 3.3 70B、Qwen QwQ 32B,每天 10K neurons)、GitHub Models(GPT-4o、Llama 3.3 70B、DeepSeek-R1,10–15 RPM、50–150 RPD)、Groq(Llama 3.3 70B、Llama 4 Scout、Kimi K2,30 RPM、1K RPD)、Hugging Face(每月 $0.10 免费额度)、Kluster AI(限流未公开)、LLM7.io(30 RPM,带 token 时 120 RPM)、NVIDIA NIM(40 RPM)、Ollama Cloud(1 并发、轻度使用)、OpenRouter(20 RPM、50 RPD,充值 $10 以上后为 1K RPD)。
使用方式
资料建议将密钥存为环境变量,例如 GROQ_API_KEY、GEMINI_API_KEY、OPENROUTER_API_KEY、MISTRAL_API_KEY、COHERE_API_KEY、CEREBRAS_API_KEY、GITHUB_TOKEN、HF_TOKEN、NVIDIA_API_KEY、CLOUDFLARE_API_TOKEN 与 CLOUDFLARE_ACCOUNT_ID,避免硬编码。
除 Ollama Cloud 外,各提供商均兼容 OpenAI SDK,只需替换 base_url 与 api_key。资料提供了 Python 与 JavaScript/TypeScript 的调用示例,覆盖 Groq、Gemini、Mistral、OpenRouter、Cerebras、NVIDIA NIM、GitHub Models、Cohere 兼容端点。Cloudflare Workers AI 使用账号 ID 加 API Token 的请求方式,也可在 Worker 运行时中调用;Ollama Cloud 使用 Ollama 自有 API 格式或 ollama Python 客户端;Hugging Face 通过 router.huggingface.co 的 OpenAI 兼容端点访问。
进阶模式
资料包含流式响应示例(Python 的 stream 与 JS 的 stream: true)、按提供商顺序进行限流故障转移的函数(捕获 RateLimitError 后切换下一个提供商)、OpenRouter 的 openrouter/free 免费模型路由与 route: fallback 的模型优先级回退,以及 LangChain 的 ChatOpenAI 集成写法。
适用场景与限制
适用于需要免费额度进行文本推理原型、学习、轻量应用集成的开发者。限制方面:各提供商速率与地区限制不同,Gemini 免费层不覆盖欧盟、英国和瑞士;GitHub Models 对令牌类型有要求;OpenRouter 免费模型带 :free 后缀,Cloudflare 模型带 @cf/ 前缀;Ollama Cloud 不兼容 OpenAI SDK。资料还给出认证错误、限流、模型不存在、Gemini 地区不可用等排查建议,以及按最高 RPD、最聪明模型、欧盟托管、模型多样性、推理速度、推理模型、视觉能力等需求选择提供商的指引。具体价格、付费方案与长期可用性以各提供商官方信息为准。