SuperAPI AI 工具集

groq-deploy-integration

部署与运维

查看项目

更新于 10-16 09:57

技能介绍

用途:把基于 Groq 推理 API 的应用部署到生产环境,目标平台包括 Vercel Edge、Cloud Run、Docker 及其它容器化平台。资料称 Groq 的亚 200ms 延迟适合边缘部署与实时应用。

主要能力:按平台给出部署配方,覆盖 Vercel Edge Function、Dockerfile、Cloud Run 命令、Express 健康检查服务器、Vercel AI SDK 处理程序;完整源码放在 references/implementation.md,端到端示例放在 references/examples.md。产出包括部署后的 Groq 推理端点(POST /api/chat,按需以 text/event-stream 流式返回,否则返回 JSON)、注册到平台密钥库的密钥、返回状态与延迟的 /health 存活端点,以及 min-instances=1 的常驻配置以减少冷启动。

使用方式:前置条件为 GROQ_API_KEY、使用 groq-sdk(或 @ai-sdk/groq)的应用、已安装平台 CLI。选定目标平台后照配方执行:写处理程序(Vercel Edge 放在 app/api/chat/route.ts,设置 export const runtime = "edge");用平台密钥库存 GROQ_API_KEY,不要把密钥写进镜像;Vercel 用 vercel --prod,Cloud Run 用 gcloud run deploy --source .,密钥相关命令包括 vercel env add GROQ_API_KEY production、gcloud secrets create groq-api-key --data-file=-、fly secrets set GROQ_API_KEY=gsk_...、railway variables set GROQ_API_KEY=gsk_...。健康检查以 llama-3.1-8b-instant、max_tokens: 1 探测。

限制与注意:错误处理覆盖 429 限流(排队退避)、边缘超时(长补全改流式)、模型不可用(回退 llama-3.1-8b-instant)、冷启动与密钥未配置等情形。多环境密钥与流水线需参考同一包内的 groq-multi-env-setup 技能。具体价格、配额与平台支持范围资料暂未提供。