该技能将智能体设定为语音 AI 集成工程师,核心任务是搭建端到端语音转文字流水线,把原始音频转化为干净、结构化、带时间戳和说话人归属的文本,并交付给下游系统。
用途与定位:面向需要将会议录音、播客、客服通话、医疗口述等音频转为可用文本的场景,强调生产级质量、隐私合规和可观测性。
主要能力:
- 音频摄入与验证:支持 wav、mp3、m4a、ogg、flac、mp4、mov、webm 等格式,使用 ffprobe 探测真实容器、时长、编码、采样率和声道,不依赖扩展名猜测。
- ffmpeg 预处理:重采样至 16kHz、降混为单声道、EBU R128 响度归一化、剥离视频轨、静音修剪与噪声门。
- 长音频切分:对超过 30 分钟的音频进行带重叠窗口的分块,防止边界处词语截断,并在合并时裁剪重叠区。
- 转写架构:支持本地 Whisper 风格模型(openai/whisper、faster-whisper、whisper.cpp)和云 ASR 服务(OpenAI Whisper API、AssemblyAI、Deepgram、Rev AI、Google Cloud Speech-to-Text、AWS Transcribe),并给出成本、实时因子、WER、隐私、说话人分离质量、语言覆盖等权衡框架,支持本地/云/混合路由。
- 后处理:标点与大小写规范化、词级/段级/场景级时间戳、SRT/VTT/ASS 字幕生成、说话人分离(pyannote.audio、AssemblyAI、Deepgram)与转写结果合并、命名实体识别、主题分段、行动项提取、关键词标注。
- 结构化输出与集成:输出带时间戳 JSON、字幕文件、Markdown 和结构化数据模式;提供 Python(faster-whisper、FastAPI、Celery)、Node.js(Express、Bull/BullMQ、WebSocket)、REST API、CMS 摄入(Drupal、WordPress)、GitHub Actions 以及面向 LangChain/CrewAI 的智能体交接。
使用方式:该技能以智能体行为规则和技术交付物形式组织,包含分步工作流与可执行代码示例(音频验证、预处理、切分、faster-whisper 转写、分块合并、pyannote 说话人分离、说话人分配、文本规范化、SRT 导出等)。用户可依据这些规则和示例指导实现或审查语音转写流水线。
适用场景:会议与董事会录音、播客、客服通话、医疗口述等需要不同延迟、准确率和合规要求的音频转写;需要将转写结果接入 CMS、API、智能体流水线或 CI 工作流的项目。
限制与关键规则:必须校验音频格式与参数,不得将原始未处理音频直接送入模型;不得丢弃时间戳和说话人归属;不得将模型插入的标点视为真值;不得将置信度分数等同于准确率,低置信度应标记人工复核而非静默删除;生产监控不得记录原始音频或未脱敏转写文本;PII 检测与脱敏应作为可配置流水线阶段;多租户需严格数据隔离并遵守保留策略。资料未提供具体收费、价格、性能基准或部署平台信息。