用途:在 Cloudflare Workers 边缘环境运行 AI 推理,借助 OpenAI 等标准 SDK 构建 LLM 应用,覆盖文本生成、结构化提取、聊天界面、内容审核、嵌入与 RAG 管线。
主要能力:支持结构化 JSON 输出(response_format 的 json_schema 或 json_object)、流式响应(Vercel AI SDK 的 streamText())、嵌入生成(client.embeddings.create)、AI Gateway 集成(缓存、限流、分析、日志、多提供商)。可结合 Vectorize 做检索增强生成。
使用方式:先安装依赖 npm install openai;流式可选 npm install ai @ai-sdk/openai。在 Worker 中创建 OpenAI 客户端,通过环境绑定传入 API Key,调用 chat.completions.create 等方法。启用 AI Gateway 时在客户端配置 baseUrl 指向网关地址。wrangler.jsonc 中可开启 observability.enabled。
适用场景:结构化数据抽取、对话应用、语义搜索、RAG、内容审核、高吞吐低成本任务。
限制:资料未提供具体定价与配额;模型选择需按任务权衡成本、速度与能力;需处理 429 限流与 400 错误,注意 token 上限,避免硬编码密钥,建议缓存并校验 JSON schema。