本技能是一份关于永久免费层 LLM API 的参考指南,面向希望在不购买试用额度、不担心额度过期的情况下调用大模型文本推理的开发者。内容以服务商清单和代码示例为主,没有提供安装脚本或本地运行工具。
【服务商概览】 资料将服务商分为两类。第一类是由公司自行训练或微调模型的“服务商 API”:Cohere(Command A、Command R+、Aya Expanse 32B,20 RPM、每月 1K 请求,美国)、Google Gemini(Gemini 2.5 Pro、Flash、Flash-Lite,5–15 RPM、100–1K RPD,美国,不含欧盟/英国/瑞士)、Mistral AI(Mistral Large 3、Small 3.1、Ministral 8B,1 请求/秒、每月 1B token,欧盟)、智谱 AI(GLM-4.7-Flash、GLM-4.5-Flash、GLM-4.6V-Flash,限流未公开,中国)。第二类是托管开放权重模型的“推理服务商”:Cerebras(Llama 3.3 70B、Qwen3 235B、GPT-OSS-120B,30 RPM、14,400 RPD)、Cloudflare Workers AI(Llama 3.3 70B、Qwen QwQ 32B,每日 10K neurons)、GitHub Models(GPT-4o、Llama 3.3 70B、DeepSeek-R1,10–15 RPM、50–150 RPD)、Groq(Llama 3.3 70B、Llama 4 Scout、Kimi K2,30 RPM、1K RPD)、Hugging Face(Llama 3.3 70B、Qwen2.5 72B、Mistral 7B,每月 $0.10 免费额度)、Kluster AI(限流未公开)、LLM7.io(30 RPM,带 token 为 120)、NVIDIA NIM(40 RPM)、Ollama Cloud(1 并发、轻量使用)、OpenRouter(20 RPM、50 RPD,消费 $10 以上后为 1K RPD)。
【主要能力与使用方式】 除 Ollama Cloud 外,其余端点均兼容 OpenAI SDK,调用时只需替换 base_url 与 api_key。文档给出统一的密钥管理方式:通过环境变量保存 GROQ_API_KEY、GEMINI_API_KEY、OPENROUTER_API_KEY、MISTRAL_API_KEY、COHERE_API_KEY、CEREBRAS_API_KEY、GITHUB_TOKEN、HF_TOKEN、NVIDIA_API_KEY、CLOUDFLARE_API_TOKEN 与 CLOUDFLARE_ACCOUNT_ID,并强调不要硬编码密钥。
代码示例覆盖 Python 与 JavaScript/TypeScript:Groq、Gemini、Mistral、OpenRouter、Cerebras、NVIDIA NIM、GitHub Models、Cohere 的 OpenAI 兼容调用;Cloudflare Workers AI 使用账户 ID 加 Bearer Token 的 HTTP 调用,以及在 Worker 运行时内使用 Ai 绑定;Ollama Cloud 使用自有 API 格式(/api/chat)或 ollama Python 客户端;Hugging Face 通过路由端点接入。此外还包含流式输出(Python 的 stream 上下文与 JS 的 stream: true 迭代)、基于 RateLimitError 的多服务商回退函数、OpenRouter 的 openrouter/free 免费路由与 fallback 路由配置,以及 LangChain 的 ChatOpenAI 接入方式。
【适用场景】 适合原型验证、教学演示、个人项目,以及对成本敏感、需要多服务商容灾的文本生成应用。文档还提供按需求选型的建议:追求最高 RPD 选 Cerebras;追求最强免费模型选 Gemini 2.5 Pro(需避开欧盟/英国/瑞士);需要欧盟托管选 Mistral AI;需要模型多样性选 OpenRouter 或 Cloudflare;追求低延迟选 Groq;需要推理模型选 DeepSeek-R1;需要视觉能力选 Gemini Flash、Llama 4 Scout 或 GLM-4.6V-Flash。
【限制与排错】 需要留意各服务商的地域限制(Gemini 免费层不覆盖欧盟、英国、瑞士)、模型 ID 命名差异(OpenRouter 免费模型带 :free 后缀,Cloudflare 使用 @cf/ 前缀)、GitHub Models 需要 classic PAT、Ollama Cloud 不兼容 OpenAI SDK。常见问题处理包括:鉴权失败时检查环境变量与服务商是否匹配;限流时采用指数退避或多服务商回退;模型不存在时核对官方模型 ID;OpenRouter 的 50 RPD 限制可通过一次性充值 $10 永久提升至 1K RPD。资料未提供各服务商的具体注册流程、定价之外的商用条款,以及本技能自身的安装方式。