SuperAPI AI 工具集

groq-inference-skill

编程与开发

查看项目

更新于 10-16 08:45

技能介绍

用途:通过 Groq API 进行超快速 LLM 推理,适合实时应用,资料称其推理速度可达常规提供商的 10-100 倍。

主要能力与模型选择:通用聊天用 llama-3.3-70b-versatile(128K 上下文);快速简单任务用 llama-3.1-8b-instant;视觉/OCR 用 meta-llama/llama-4-scout-17b-16e-instruct(最多 5 张图);语音转写用 whisper-large-v3(由 Groq 托管);语音合成用 playai-tts(Fritz-PlayAI 音色);推理用 meta-llama/llama-4-maverick-17b-128e-instruct;内置工具用 compound-beta(含网页搜索、代码执行)。

使用方式:安装 Groq SDK 后初始化 client = Groq(api_key=os.environ.get("GROQ_API_KEY")),通过 chat.completions.create 调用;支持流式输出、异步 AsyncGroq 并行查询、函数调用、视觉多模态、音频转写与翻译、TTS 及流式 TTS。推理模型可用 reasoning_format 参数(parsed/raw/hidden)。

限制与注意:需将 GROQ_API_KEY 存入环境变量(从 console.groq.com 获取);资料强调约束为不使用 OpenAI,Whisper 为开源模型并由 Groq 托管而非 OpenAI API;免费层每分钟 30 请求、15,000 tokens/分钟、500,000 tokens/天,付费层更高;建议用 tenacity 做重试。常见集成包括 voice-ai-skill、langgraph-agents-skill 等。其余价格与详细规格资料未提供。