用途:FluidAudio 是 Apple 平台上的本地音频 AI Swift SDK,推理全部通过 CoreML 在 Apple Neural Engine 上运行,不上云、不离开设备。仓库为 https://github.com/FluidInference/FluidAudio.git,版本 0.12.1+,支持 macOS 14.0+ / iOS 17.0+(仅 arm64 Apple Silicon)。
主要能力:语音识别(批量 AsrManager,约 190x RTFx、WER 3.21%;流式 StreamingEouAsrManager,实时,EOU 延迟 160ms–1.6s)、说话人分离(离线 OfflineDiarizerManager,约 150x、DER 13.89%;在线 DiarizerManager,DER 17.7%)、语音活动检测(VadManager,约 1000x+、F1 0.85)、语音合成(PocketTTS 约 80ms 延迟;Kokoro 支持 SSML)。音频经 AudioConverter 自动转为 16kHz 单声道 Float32。
使用方式:通过 SPM 安装,产品可选 "FluidAudio"(核心,Apache 2.0)或 "FluidAudioTTS"(含 Kokoro TTS,GPL-3.0)。首次使用时模型自动从 HuggingFace 下载并缓存到 ~/.cache/fluidaudio/Models/。基本流程为下载并加载模型、初始化管理器、再调用转写或处理接口;流式场景可订阅 transcriptionUpdates 并持续喂入麦克风音频块,最后调用 finish()。
适用场景:macOS 语音转文字应用、实时流式转写与端点检测、会议转写结合说话人分离等本地音频处理。
限制:仅支持 Apple Silicon arm64,未提供其他平台信息;模型首次需联网下载;Kokoro TTS 采用 GPL-3.0,核心为 Apache 2.0;其余收费、价格与更多平台支持暂未提供。