SuperAPI AI 工具集

streaming-api-patterns

编程与开发

查看项目

更新于 10-15 19:57

技能介绍

用途:面向需要实时数据交付的现代应用,讲解三种流式技术并给出实现模式。SSE 适合服务端到客户端的单向流(LLM 响应、通知);WebSocket 适合双向通信(聊天、协作编辑);ReadableStream 适合带背压的大数据流处理。

主要能力:提供 Next.js 路由处理器中 SSE 的 ReadableStream 写法(含 keepalive 与 abort 清理)、ws 的 WebSocket 广播服务端与客户端示例、基于 async generator 的 ReadableStream 数据生成,以及 OpenAI 流式聊天在服务端与客户端的完整处理链路。还给出 ReconnectingEventSource 指数退避重连策略。

使用方式:按场景选用技术;SSE 客户端用 EventSource,需设置 Content-Type: text/event-stream、Cache-Control: no-cache,每 30 秒发送 keepalive;WebSocket 需实现心跳、重连与消息校验;LLM 流式用 stream: true,逐 chunk 以 data: JSON 发送,结尾发 [DONE]。

适用场景:流式 LLM 界面、实时通知、股票与分析数据源、聊天、长任务进度更新、协同编辑。

限制:浏览器对 SSE 同域连接数有限制(约 6 个),建议使用 HTTP/2;WebSocket 需自行处理断线和消息队列;背压需监控缓冲区并在消费者缓慢时暂停生产。资料未提供具体收费、价格或平台支持信息,暂未提供。