SuperAPI AI 工具集

audio-streaming

编程与开发

查看项目

更新于 10-22 21:59

技能介绍

用途

本技能是在 iOS 上通过 Meta Wearables 的 Camera Stream 接收同步 PCM 音频帧的实验性扩展,并非独立的音频采集能力。使用前需先按 camera-streaming 技能启动设备会话并挂载 Camera,然后在其基础上增加音频配置与采集逻辑。

主要能力与配置

创建 StreamConfiguration 时需提供非空的 audioCodec 才能启用音频:

let configuration = StreamConfiguration(
  videoCodec: .raw,
  audioCodec: .pcm(sampleRate: .rate16000, numberOfChannels: 1),
  resolution: .medium,
  frameRate: 24
)

guard let camera = try session.addCamera(config: configuration) else { return }
let stream = camera.stream

支持的采样率为 16,000、44,100、48,000 Hz。下游音频处理需与配置的采样率和声道数保持一致。

使用方式

先监听、后启动:在长生命周期对象上保留监听令牌,并在 stream.start() 之前完成注册。

stream.audioFramePublisher.listen { frame in
  consumePCM(
    frame.pcmBuffer,
    presentationTime: frame.presentationTimeStamp
  )
}.store(in: streamTokens)
stream.start()

对音频排序或与视频对齐时应使用 presentation timestamp;不要修改交付的 PCM 缓冲区。音频共享 Stream 的状态与错误,权限失败和关键流错误通过 stream.errorPublisher 上报,不应为音频另建一套生命周期。

权限要求

应用需在 Wearables Developer Center 获得 Camera 与 Audio Streaming 审批,同时具备 .camera 和 .microphone 两项运行时权限。应先在静默状态下检查权限,并在解释 Meta AI 应用切换后再请求相应权限。

清理与测试限制

应在调用 camera.stop() 之前确定性地取消音频监听器。停止 Camera 会级联停止其 Stream 并使两者失效。MockDeviceKit 可以协商出启用音频的 Camera 流,但不提供公开的确定性音频帧注入 API,因此不要编写假设会收到模拟 PCM 帧的测试。

可用性

Audio Streaming 目前为实验性能力。应用可用于开发和 beta 测试,但尚不能发布到生产发布渠道。