用途:帮助开发者充分利用 Groq LPU 的推理速度优势,通过客户端侧优化提升应用响应速度与吞吐量。
主要能力:提供六个调优手段——按速度层级选择模型(llama-3.1-8b-instant、llama-3.3-70b-versatile、llama-3.3-70b-specdec 等)、精简 token 数量、流式输出改善感知性能、对确定性响应做 LRU 缓存、用限速感知队列并行处理、以及提交前基准测试。附带性能决策矩阵与错误处理对照表。
使用方式:需设置环境变量 GROQ_API_KEY,安装 groq-sdk(npm install groq-sdk),缓存与并行步骤可选安装 lru-cache 和 p-queue。核心代码为分层客户端 SPEED_MAP,按调用场景选择模型并设置 temperature: 0 与合适的 max_tokens。完整代码见 references/implementation.md,示例见 references/examples.md。
适用场景:延迟敏感的文本分类、交互式聊天、批量数据处理、代码生成等。
限制:资料未提供具体收费与价格信息;基准数值受提示词大小与服务器负载影响,实际表现可能不同。