用途:这是一份 Groq 应用的生产部署检查清单,按顺序逐项核对,每节都是上线前的关卡,全部通过后才执行上线验证。
主要能力:涵盖九部分——API 密钥与认证(密钥存于密钥管理器、不与开发/预发共享、轮换流程、提交钩子拦截 gsk_ 模式);模型选择(推荐 llama-3.3-70b-versatile,回退 llama-3.1-8b-instant,清理弃用 ID,max_tokens 按实际输出设置);速率限制规划(峰值 RPM/TPM 低于限额 80%、指数退避、请求队列);错误处理与回退(捕获 Groq.APIError 等、429/5xx 退避重试、401 告警、超时与熔断、降级包装);健康检查(/api/health 用 1 token 请求探测,降级返回 503);监控(延迟直方图、token 吞吐、错误率、限额余量、成本追踪及告警阈值);支出控制(月度上限、50%/80%/95% 预算告警、自动暂停);文档(事故手册、轮换 SOP、回滚流程);上线验证(对生产运行预检脚本)。
使用方式:先阅读目标应用的 Groq 集成与配置,再逐项勾选;未勾选项即上线阻塞。安全与认证项(第 1、2 节)为硬阻塞,监控与支出项(第 6、7 节)为 P3 阻塞,可带跟踪项上线。
限制:需已测试的预发环境、Groq Developer 或 Enterprise 计划(免费层不适合生产)、生产密钥及监控告警设施;具体回退函数、健康检查端点与上线脚本位于 references/ 目录,资料未提供其完整内容。