SuperAPI AI 工具集

llm-streaming-response-handler

智能体与模型

查看项目

更新于 10-15 20:30

技能介绍

用途:指导开发者构建生产级 LLM 流式响应界面,让用户即时看到逐 token 输出,适用于聊天界面、实时 AI 助手、代码生成实时预览、文档渐进式摘要等需要即时反馈的场景;批量处理、不支持流式的 API、双向聊天或短响应(少于 50 词)不建议使用。

主要能力:推荐使用 Server-Sent Events(SSE)而非 WebSocket,因其基于 HTTP、自动重连、对代理友好且为单向流;覆盖 OpenAI、Anthropic、Claude 及 Vercel AI SDK 的流式响应格式;提供基础 SSE 流处理、React 流式 Hook、Next.js 服务端流式路由等实现模式;强调避免缓冲后显示、缺少取消、缺少错误恢复、未关闭流导致内存泄漏、缺少打字指示器等反模式。

使用方式:客户端通过 fetch 获取响应体 reader,用 TextDecoder 解析 data: 行并即时更新 UI;使用 AbortController 实现取消;用状态机管理 idle/streaming/error/complete 并支持重试;在 useEffect 清理函数中取消 reader;服务端将上游流转换为 SSE 格式并设置 Content-Type: text/event-stream、Cache-Control: no-cache、Connection: keep-alive。

限制:资料未提供具体安装命令、价格、性能数据或平台兼容性细节;部分代码示例涉及 OpenAI、Next.js 等具体技术栈,需按实际环境调整;生产清单中的速率限制、token 用量跟踪、成本估算等需自行实现。