用途:构建一个最小化的 Groq 聊天补全示例,用于初次接入 Groq、安装 SDK 后验证环境,或学习其 LPU 推理 API。Groq 使用 OpenAI 兼容端点,API 形态较为熟悉,资料称其响应速度比基于 GPU 的提供方快 10-50 倍。
前提条件:已安装 groq-sdk(npm install groq-sdk);已设置 GROQ_API_KEY 环境变量;已完成 groq-install-auth 配置。
使用方式:先用 Write 创建示例文件,再运行以确认密钥与 SDK 可用。基础请求使用 TypeScript,导入 Groq 并实例化,调用 groq.chat.completions.create,指定 model 为 llama-3.3-70b-versatile,传入 system 与 user 消息,最后打印 choices[0].message.content 与 usage.total_tokens。成功运行会输出助手回复文本和总 token 数。
主要能力:基础聊天补全;参考资料中还包含流式输出、Python 等价写法、模型选择速查表,以及完整模型目录与响应接口说明。底层返回 OpenAI 兼容的 ChatCompletion 对象,文本位于 choices[0].message.content,usage 含 token 计数及四个 Groq 专有时序字段(queue_time、prompt_time、completion_time、total_time)。
错误处理:401 Invalid API Key 表示密钥未设置或无效,检查 GROQ_API_KEY;model_not_found 表示模型 ID 拼写错误或已弃用,查阅 console.groq.com/docs/models;429 Rate limit 表示免费层大模型限制 30 RPM,按 retry-after 头等待;context_length_exceeded 表示提示加 max_tokens 超出模型上下文,需缩减提示或降低 max_tokens。
限制:资料未提供收费、价格与具体性能数据;模型目录、参数与上下文等细节需查阅其引用的参考文档。后续可进入 groq-local-dev-loop 进行开发工作流设置。