用途:该技能提供构建 F.R.I.D.A.Y.(Replacement Integrated Digital Assistant Youth)本地语音助手的蓝图,灵感来自钢铁侠中的战术 AI,适合搭建实时对话式语音智能体,以及将 Google 与 OpenAI 多家服务整合进单一语音回路的场景。
主要能力:使用 Pipecat 框架编排低延迟流水线,采用线性架构:麦克风 -> VAD -> STT -> LLM -> TTS -> 扬声器。语音识别使用 OpenAI Whisper(whisper-1)或 gpt-4o-transcribe;大模型使用 Google Gemini 2.5 Flash(通过兼容层调用);语音合成使用 OpenAI TTS(nova 音色);传输层为本地音频(硬件麦克风与扬声器)。脚本内含 GoogleSafeContext 与 GoogleSafeMessage 类,用于弥合 Google Gemini API 与 OpenAI 标准消息格式之间的差异。
使用方式:先安装依赖,命令为 pip install pipecat-ai[openai,google,silero] python-dotenv;在 .env 文件中配置 OPENAI_API_KEY 与 GOOGLE_API_KEY;然后运行 python scripts/friday_agent.py 启动。
建议与限制:推荐使用 Silero VAD 以避免背景噪声误触发模型;提示词应简短、信息密度高以降低延迟;OpenAI TTS 输出为 24kHz,需匹配 audio_out_sample_rate 以免音调异常;避免客套填充语。若音频断续或延迟,检查 OUTPUT_DEVICE 索引;若出现消息格式验证错误,确认 GoogleSafeContext 兼容层正确转换格式。相关资料未提供收费、价格、平台支持范围等细节。使用时应限定在描述范围内,输出不能替代针对具体环境的验证、测试或专家评审;如缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。相关技能包括 @voice-agents、@agent-tool-builder、@llm-architect。