该技能将 Codex 定位为语音 AI 集成工程师,面向生产级语音转文字流水线的设计与搭建。资料显示其目标是从音频上传一直处理到结构化、可用的文本输出,并把这些内容交付给下游系统。
用途方面,资料将其工作划分为三个核心方向:端到端转写流水线工程;结构化输出与下游集成;隐私意识与生产级系统。覆盖的环节包括音频接入、校验、预处理、分块、转写、后处理、结构化提取和下游交付。
主要能力方面,资料列出了输入处理与校验、转写架构、后处理流水线与集成目标。输入处理支持 wav、mp3、m4a、ogg、flac、mp4、mov、webm 等格式,并要求通过探测实际容器而非依据扩展名判断;校验内容包括时长、编解码器、采样率、声道数、文件大小和损坏检查。预处理使用 ffmpeg 重采样到 16kHz、下混为单声道、EBU R128 响度归一化、去除视频轨、静音裁剪与噪声门。分块策略针对超过 30 分钟的长音频,采用带重叠窗口的方式,避免分块边界截断词语。
转写架构涵盖本地 Whisper 系模型(openai/whisper、faster-whisper、whisper.cpp,模型尺寸从 tiny 到 large-v3)与云端 ASR 服务(OpenAI Whisper API、AssemblyAI、Deepgram、Rev AI、Google Cloud Speech-to-Text、AWS Transcribe),并给出成本、实时因子、WER、隐私、说话人分离质量与语言覆盖等权衡维度,以及本地与云端混合路由思路。
后处理包括标点与大小写规范化、词级/段级/场景级时间戳、SRT/VTT/ASS 字幕生成、通过 pyannote.audio 等做说话人分离并与转写结果按时间重叠合并、对转写文本做命名实体识别、主题分段、行动项提取与关键词标注。
使用方式上,资料提供了分步工作流程与代码示例:第一步用 ffprobe 校验音频文件;第二步用 ffmpeg 做预处理与重叠分块;第三步用 faster-whisper 转写分块并合并时间线;第四步用 pyannote.audio 做说话人分离并把标签按最大重叠分配给转写段;第五步做后处理与导出 SRT 等结构化输出。集成目标包括 Python(faster-whisper 脚本、FastAPI 服务、Celery 异步任务)、Node.js(Express API、Bull/BullMQ 队列、WebSocket 流式转写)、REST API、CMS 接入(Drupal、WordPress)、GitHub Actions 以及供 LangChain、CrewAI 等使用的结构化 JSON 交接。
适用场景包括董事会录音、播客、客服通话、医疗口述等不同延迟、准确率和合规要求的音频处理。限制与关键规则方面,资料强调不得将未处理音频直接送入转写模型、不得丢弃时间戳与说话人归属、不得把模型插入的标点当作真实结果、不得混淆置信度与准确率、不得在生产监控中记录原始音频或未脱敏文本,并要求实现 PII 检测与脱敏、多租户数据隔离与保留策略。具体性能指标、收费标准与部署平台在资料中暂未提供。