SuperAPI AI 工具集

llm-streaming

智能体与模型

查看项目

更新于 10-16 04:28

技能介绍

用途:实现 LLM 响应的实时流式传输,改善用户体验,降低首字节时间,并在流中处理工具调用与取消等场景。

主要能力:基础流式(OpenAI 同步与 AsyncOpenAI 异步)、FastAPI 的 SSE 端点(EventSourceResponse)、前端 SSE 消费(fetch + ReadableStream 解析 data: 行)、带工具调用的流式(累积 delta.tool_calls 的 name 与 arguments)、背压处理(asyncio.Queue 限流)、部分 JSON 解析、流取消。

使用方式:OpenAI 客户端设置 stream=True 后逐块读取 delta.content;异步版本用 async for;服务端以 EventSourceResponse 逐事件 yield,事件含 token 与 done;前端读取响应体分块、解码文本、按行匹配 data: 前缀。工具调用需按 index 累积分片,拼接完整后执行。

适用场景:聊天界面或增量展示 AI 输出的 Web 应用,需要 SSE 或工具调用的流式管线。

限制与注意:资料未提供具体价格、平台或效果数据。关键决策包括协议选 SSE(Web)或 WebSocket(双向)、缓冲 50-200 tokens、长响应超时 30-60 秒、断线重连;常见错误有无超时挂起、流内缺错误处理、未正确关闭连接、缓冲整个响应。部分细节需结合相关技能(如 streaming-api-patterns、function-calling、react-streaming-ui)补充。