用途
本技能是在 iOS 上通过 Meta Wearables 的 Camera Stream 接收同步 PCM 音频帧的实验性扩展,并非独立的音频采集能力。使用前需先按 camera-streaming 技能启动设备会话并挂载 Camera,然后在其基础上增加音频配置与采集逻辑。
主要能力与配置
创建 StreamConfiguration 时需提供非空的 audioCodec 才能启用音频:
let configuration = StreamConfiguration(
videoCodec: .raw,
audioCodec: .pcm(sampleRate: .rate16000, numberOfChannels: 1),
resolution: .medium,
frameRate: 24
)
guard let camera = try session.addCamera(config: configuration) else { return }
let stream = camera.stream
支持的采样率为 16,000、44,100、48,000 Hz。下游音频处理需与配置的采样率和声道数保持一致。
使用方式
先监听、后启动:在长生命周期对象上保留监听令牌,并在 stream.start() 之前完成注册。
stream.audioFramePublisher.listen { frame in
consumePCM(
frame.pcmBuffer,
presentationTime: frame.presentationTimeStamp
)
}.store(in: streamTokens)
stream.start()
对音频排序或与视频对齐时应使用 presentation timestamp;不要修改交付的 PCM 缓冲区。音频共享 Stream 的状态与错误,权限失败和关键流错误通过 stream.errorPublisher 上报,不应为音频另建一套生命周期。
权限要求
应用需在 Wearables Developer Center 获得 Camera 与 Audio Streaming 审批,同时具备 .camera 和 .microphone 两项运行时权限。应先在静默状态下检查权限,并在解释 Meta AI 应用切换后再请求相应权限。
清理与测试限制
应在调用 camera.stop() 之前确定性地取消音频监听器。停止 Camera 会级联停止其 Stream 并使两者失效。MockDeviceKit 可以协商出启用音频的 Camera 流,但不提供公开的确定性音频帧注入 API,因此不要编写假设会收到模拟 PCM 帧的测试。
可用性
Audio Streaming 目前为实验性能力。应用可用于开发和 beta 测试,但尚不能发布到生产发布渠道。