用途:在使用 liter-llm 时从 LLM 增量输出 token,而不是等待完整响应后一次性返回。代理通过 SSE 流式传输,绑定层暴露异步迭代器。
主要能力:提供 chat_stream(...) 以流式接收生成内容;Python 端可按 chunk 迭代并在 choices[0].delta.content 非空时输出;TypeScript 端通过 client.chatStream(...) 获取可异步迭代的分块。
基本用法(Python):使用 create_client 创建客户端,构造带 "stream": true 的 ChatCompletionRequest,然后 async for chunk in client.chat_stream(request)。TypeScript 使用 import { createClient } from "@xberg-io/liter-llm",调用 client.chatStream({ model, messages }) 后 for await 遍历。通过代理时,在 /v1/chat/completions 上以 "stream": true 请求流式。
限制与注意:首个和最后一个分块通常 content 为 null,使用前必须做空值判断,Python 为 chunk.choices[0].delta.content,TypeScript 为 chunk.choices[0]?.delta?.content。工具调用增量出现在 delta.tool_calls 中,需跨分块累积 function.arguments 片段后再解析。价格、平台支持范围及更多配置暂未提供。