用途:按照 Pipecat 框架搭建一个本地运行、低延迟的实时对话语音助手,灵感来自《钢铁侠》中的战术 AI F.R.I.D.A.Y.。适合需要把 Google 与 OpenAI 多家服务整合进同一个语音回路的场景。
主要能力:以线性流水线组织语音交互,链路为 Mic -> VAD -> STT -> LLM -> TTS -> Speaker,可对每个阶段单独控制。语音识别使用 OpenAI Whisper(whisper-1)或 gpt-4o-transcribe;大模型使用 Google Gemini 2.5 Flash,并通过兼容层转换消息格式;语音合成使用 OpenAI TTS 的 nova 音色;音频传输使用本地硬件麦克风与扬声器。脚本中包含 GoogleSafeContext 与 GoogleSafeMessage 类,用于把 OpenAI 风格的消息字典转换为 Gemini 所需的结构。
使用方式:安装依赖:pip install pipecat-ai[openai,google,silero] python-dotenv。创建 .env 文件并填入 OPENAI_API_KEY=your_openai_key 和 GOOGLE_API_KEY=your_google_key。运行脚本:python scripts/friday_agent.py。
建议做法:使用 Silero VAD 防止背景噪声误触发大模型;提示词保持简短、信息密集以降低延迟;OpenAI TTS 输出为 24kHz,需让 audio_out_sample_rate 与之匹配,避免音调异常;避免客套话,使用类似“Systems nominal. Ready for commands.”的短句。
常见问题:音频断续或延迟时,检查 OUTPUT_DEVICE 索引,可运行 test_audio_output.py 查找系统正确的硬件索引;出现消息格式“Validation error”时,确认 GoogleSafeContext 兼容层正确完成转换。
限制:资料未提供具体收费、价格、平台支持范围、效果指标或其他约束信息。相关技能包括 @voice-agents、@agent-tool-builder 与 @llm-architect。