Audio Expert 是一套音频架构技能,面向两个应用:Leavn(圣经应用)与 Modcaster(播客应用)。其内容按系统分为两大部分。
一、Leavn 音频系统
核心服务包括:AudioPlaybackService,负责 TTS 与经文朗读;GuidedAudioOrchestrator,负责引导模式的协调;SermonRecordingService,负责讲道录制;StreamingTTSClient,负责实时 TTS;ChatterboxKit,负责声音配置(voice profiles)。
字幕与时间码方面包括:CaptionTimecodeAligner,用于精确同步;CaptionSyncCoordinator,以状态机方式管理同步;以及经文边界检测(verse boundary detection)。
音频图方面涉及 AudioGraphManager 的初始化,以及 CarPlay、后台等场景模式(scene modes)。
常见修复方向包括:音频冲突与中断、TTS 声音选择、录音状态管理、字幕同步。
二、Modcaster 音频系统
音频指纹方面采用类似 Shazam 的方案进行频谱峰值提取,步骤为:使用 vDSP 进行 FFT、提取频谱峰值、创建星座图(constellation map)、哈希为紧凑指纹。其用途包括片头/片尾检测、广告识别、跨节目匹配。
设备端机器学习方面包括:AVAudioEngine 的 tap 安装与缓冲区处理;用于语音增强、降噪的 Core ML 模型;用于语音/音乐分类的 Sound Analysis;以及 Neural Engine 的利用。
内容分类方面包括:单集类型(完整/预告/花絮)、广告片段检测、片头/片尾识别、语音与音乐分离。
适用场景:需要在 iOS 音频应用中实现 TTS 朗读、流式播放、录音、字幕同步,或需要在播客应用中实现音频指纹、设备端音频机器学习与内容分类的开发者。
限制:资料未提供具体平台版本要求、依赖库版本、安装命令、代码示例、收费与价格信息,也未提供各服务的详细 API 说明与使用步骤,这些内容暂未提供。