cloudflare-workers-ai

用途

Cloudflare Workers AI 让开发者直接在 Cloudflare 的 GPU 网络上运行大语言模型和各类 AI 模型，且通过 Worker 的 AI 绑定即可调用，无需自行管理推理基础设施。它适用于在边缘环境中构建文本生成、嵌入、图像生成、视觉理解与语音处理等 AI 应用。

主要能力

支持的模型类别包括：

文本生成（LLM）：如 Llama 4 Scout 17B、GPT-OSS 120B/20B、Gemma 3 12B（128K 上下文、140+ 语言、视觉）、Mistral Small 3.1 24B（视觉+工具调用）、Qwen QwQ 32B（推理）、Qwen2.5 Coder 32B（编码）、Qwen3 30B A3B FP8、IBM Granite 4.0 H Micro，以及 Llama 3.3 70B（2-4 倍加速）、Llama 3.1 8B FP8 等性能型号。
文本嵌入：EmbeddingGemma 300M、BGE base/large/small v1.5（2 倍加速）、Qwen3 Embedding 0.6B。BGE 模型支持 pooling: "cls" 参数，但与默认的 pooling: "mean" 不向后兼容。
图像生成：Flux 1 Schnell、Leonardo Lucid Origin、Leonardo Phoenix 1.0、Stable Diffusion XL base 1.0。图像模型需提供 num_steps（Flux Schnell 通常为 4），否则会返回错误码 1000。
视觉模型：Llama 3.2 11B Vision、Gemma 3 12B。
音频模型：Deepgram Aura 2（英语/西班牙语 TTS）、Deepgram Nova 3（STT + WebSocket）、Whisper Large v3 Turbo（更快的 STT）。

使用方式

基本调用方式是先在 wrangler.jsonc 中添加 AI 绑定 { "ai": { "binding": "AI" } }，然后在 Worker 中调用 env.AI.run(model, inputs, options)。文本生成推荐开启 streaming: true，以避免内存缓冲、加快首 token 时间并规避 Worker 超时。

export default {
  async fetch(request, env) {
    const stream = await env.AI.run('@cf/meta/llama-3.1-8b-instruct', {
      messages: [{ role: 'user', content: 'Tell me a story' }],
      stream: true,
    });
    return new Response(stream, {
      headers: { 'content-type': 'text/event-stream' },
    });
  },
};

常见模式还包括：RAG（先用嵌入模型生成向量，再查询 Vectorize，最后携带上下文生成回答）、结合 Zod 做结构化输出，以及通过 AI Gateway 实现缓存、日志、成本追踪和按请求缓存控制（如 cf-aig-cache-ttl、cf-aig-skip-cache、cf-aig-cache-key、cf-aig-cache-status 响应头）。

已知问题与注意事项

上下文窗口校验改为按 token 计算（2025 年 2 月），需用 tokenizer 计算而非字符数。
仪表盘 neuron 消耗可能明显高于基于定价文档的预期，建议通过 AI Gateway 日志监控并核对请求。
本地开发使用 AI 绑定时可能遇到 Miniflare 内部模块解析错误，可通过 remote 绑定或更新工具链解决。
Flux 图像生成可能对 innocuous 单词（如 "hamburger"）误报 NSFW 内容（错误 3030），建议在提示词中提供描述性上下文。
图像生成缺少 num_steps 会返回错误 1000，需显式传入（Flux Schnell 通常为 4）。
使用结构化输出工具时 Zod v4 可能导致转译失败，建议固定 Zod 为 v3。
AI Gateway 支持按请求缓存控制头，用于自定义 TTL、跳过缓存和自定义缓存键。

速率限制与计费

速率限制（每分钟）：文本生成 300（部分快速模型 400-1500）、文本嵌入 3000（BGE-large 为 1500）、图像生成 720、视觉模型 720、音频 720、翻译 720、分类 2000。

计费按 neurons：免费额度为每日 10,000 neurons（每日 00:00 UTC 重置）；付费为 $0.011 / 1,000 neurons，含每日 10,000 neurons，超出部分不设上限。各模型按 token 或请求计价，例如 Llama 4 Scout 17B 输入 $0.270 / 输出 $0.850 每 1M tokens，GPT-OSS 120B 输入 $0.350 / 输出 $0.750，EmbeddingGemma 300M 输入 $0.012，Flux 1 Schnell 每个 512x512 tile $0.0000528 等。

适用场景

适合在边缘构建文本对话与生成、RAG 检索增强、代码辅助、图像生成、图像理解、语音转写与合成等应用，并借助 AI Gateway 获得缓存、日志与成本管理能力。

限制

上述模型的能力、速率与价格均以资料为准；未提供的功能、平台支持或收费细节暂未提供。模型清单和定价会随版本更新变化，实际使用前应以官方文档为准。