用途:Pipecat 是开源 Python 框架,用于构建实时语音与多模态机器人,把流式语音识别、LLM、语音合成等服务组合成低延迟管线,经传输层和客户端 SDK 连接。
主要能力:以 Pipeline(有序处理器)和 Frame(音频/文本/视频/上下文/事件流单元)为核心抽象;Transport 负责连接、媒体 IO 与会话状态,支持 WebRTC、WebSocket、Daily、LiveKit、Telephony、MOQ(Media over QUIC)等;Runner 作为 HTTP 服务启动会话并派发带传输凭据的 bot 进程;客户端 SDK 基于 RTVI 消息标准启动 bot、收发事件。还提供函数调用、上下文管理、Pipecat Flows 结构化对话、行为评估框架、Workers 多智能体管线、Context Hub(供编码代理查询本地 API 索引)等。
使用方式:参考文档覆盖安装(包/extra/CLI)、1.0 迁移、核心概念、会话初始化、管线与帧、传输、语音输入与轮次检测、客户端 SDK 与 RTVI、CLI、函数调用、上下文管理、LLM 推理、TTS、部署、服务 API、Runner、Pipecat Cloud 运维与排障。CLI 提供 init/tail/cloud/context-hub/eval 等命令。
适用场景:实时语音机器人、多模态交互、服务端到服务端或受约束环境的语音连接、Pipecat Cloud 上的规模化部署。
限制与注意:密钥只能放在服务端/bot 容器,客户端应从服务端 start 接口获取传输凭据;生产语音建议用 WebRTC;池满时需处理 HTTP 429,min_agents=0 时需考虑冷启动;密钥与镜像拉取凭据须与部署代理同区域;升级需审计导入,1.0 起弃用的导入兼容层、服务专属上下文类和传输层 VAD 参数已移除,轮次检测改由 LLMUserAggregator 策略控制;RTVI dtmf 消息需用 buttons 列表,协议版本 2.1.0;OTel 仪表盘需改用 gen_ai.* 属性名。