groq

用途

Groq 提供基于自研 LPU（Language Processing Unit，语言处理单元）硬件的超高速大语言模型推理服务。其 API 完全兼容 OpenAI 接口，因此任何原本针对 api.openai.com 的工作流，只需将基础地址改为 api.groq.com/openai/v1 并替换 API Key，即可获得极低延迟的推理能力。

官方文档：https://console.groq.com/docs/overview

适用场景

当需要完成以下任务时，可使用本技能：

• 以极低延迟运行聊天补全（Groq LPU 显著快于基于 GPU 的推理）
• 使用开放权重模型，如 Llama 3.3 70B、Llama 3.1 8B、Mixtral 8x7B 或 Gemma 2 9B
• 通过 OpenAI 兼容端点使用 Whisper 进行音频转写
• 列出 Groq 平台上可用的模型
• 在假定 OpenAI 兼容的场景中接入快速、经济的推理后端

前置条件

需在 app.vm0.ai/connectors 连接 Groq 连接器。

故障排查：若请求失败，可运行 zero doctor check-connector --env-name GROQ_TOKEN 或 zero doctor check-connector --url https://api.groq.com/openai/v1/models --method GET。

使用方式

以下所有示例均假设已通过 Groq 连接器设置好 GROQ_TOKEN。

基础地址：https://api.groq.com/openai/v1

1. 基础聊天补全

写入 /tmp/groq_request.json：

{
  "model": "llama-3.3-70b-versatile",
  "messages": [{"role": "user", "content": "Explain LPU inference in one paragraph."}]
}

然后运行：

curl -s "https://api.groq.com/openai/v1/chat/completions" --header "Content-Type: application/json" --header "Authorization: Bearer $GROQ_TOKEN" -d @/tmp/groq_request.json | jq '.choices[0].message.content'

关键模型：

• llama-3.3-70b-versatile — Llama 3.3 70B；质量最佳，速度依然很快
• llama-3.1-8b-instant — Llama 3.1 8B；延迟最低
• mixtral-8x7b-32768 — Mixtral 8x7B，32K 上下文
• gemma2-9b-it — Google Gemma 2 9B instruct
• whisper-large-v3 — 音频转写（见第 4 节）

2. 带系统提示的聊天补全

写入 /tmp/groq_request.json：

{
  "model": "llama-3.3-70b-versatile",
  "messages": [
    {"role": "system", "content": "You are a concise technical assistant. Reply in JSON only."},
    {"role": "user", "content": "List the top 3 use cases for LPU-based inference."}
  ]
}

然后运行：

curl -s "https://api.groq.com/openai/v1/chat/completions" --header "Content-Type: application/json" --header "Authorization: Bearer $GROQ_TOKEN" -d @/tmp/groq_request.json | jq '.choices[0].message.content'

3. 流式聊天补全

如需实时逐 token 输出，设置 stream: true。响应为 Server-Sent Events（SSE）。

写入 /tmp/groq_request.json：

{
  "model": "llama-3.1-8b-instant",
  "messages": [{"role": "user", "content": "Write a haiku about fast inference."}],
  "stream": true
}

然后运行：

curl -s "https://api.groq.com/openai/v1/chat/completions" --header "Content-Type: application/json" --header "Authorization: Bearer $GROQ_TOKEN" -d @/tmp/groq_request.json

每个 SSE 分块是一行 data: {...}，包含 delta.content 字段。流以 data: [DONE] 结束。

4. 音频转写（Whisper）

使用 Groq 托管的 whisper-large-v3 模型转写音频文件。

curl -s "https://api.groq.com/openai/v1/audio/transcriptions" --header "Authorization: Bearer $GROQ_TOKEN" -F "file=@audio.mp3" -F "model=whisper-large-v3" | jq '.text'

支持的格式：mp3、mp4、mpeg、mpga、m4a、wav、webm（单文件最大 25 MB）。

注意：Groq 不支持 vtt 和 srt 响应格式——请使用默认的 json 格式。

5. 列出可用模型

获取 Groq 平台当前所有可用模型：

curl -s "https://api.groq.com/openai/v1/models" --header "Authorization: Bearer $GROQ_TOKEN" | jq -r '.data[].id' | sort

6. 查看 Token 用量

每次非流式聊天补全响应都会返回 Token 用量。

写入 /tmp/groq_request.json：

{
  "model": "llama-3.1-8b-instant",
  "messages": [{"role": "user", "content": "Hi!"}]
}

然后运行：

curl -s "https://api.groq.com/openai/v1/chat/completions" --header "Content-Type: application/json" --header "Authorization: Bearer $GROQ_TOKEN" -d @/tmp/groq_request.json | jq '.usage'

响应包含 prompt_tokens、completion_tokens 和 total_tokens。

使用准则

• 按任务选择合适模型：质量优先的任务使用 llama-3.3-70b-versatile；延迟或成本优先时使用 llama-3.1-8b-instant
• Groq 兼容 OpenAI：任何针对 api.openai.com/v1 的技能或代码都可重定向到 api.groq.com/openai/v1——只需替换基础地址和 API Key
• 流式是 Groq 的常见预期：由于推理极快，流式响应很常见；可用普通 curl 调用处理 SSE 并解析 data: 行
• 注意不支持的参数：logprobs、logit_bias、top_logprobs 和 messages[].name 不受支持；请省略以避免报错
• 不允许 Temperature 0：如需确定性输出，请使用很小的正值，例如 0.01
• 音频格式限制：Groq 上的 Whisper 不支持 vtt 或 srt 输出格式；请使用默认 json 响应格式
• 定期检查模型列表：Groq 会新增和下线模型；在针对特定模型编码前，务必先用 GET /openai/v1/models 确认模型 ID

限制

资料未提供关于收费、价格、速率限制、并发上限、数据保留政策或服务等级协议的具体信息。