SuperAPI AI 工具集

sound-design-and-audio

设计与创作

查看项目

更新于 10-26 20:40

技能介绍

本技能聚焦于应用内的 UI 音效设计与音频工程,以「Harbor」——一个面向 AI 智能体集群的海事运营控制台——作为完整示例,但强调其原则具有通用性。

用途:帮助判断某个事件是否应当发声(大多数不应),设计一组连贯的 UI 提示音(确认、错误、通知、过渡、到达、离开),为产品赋予声音身份(一套动机家族而非随机采样),合成实际声音并为短提示音做母带处理,以及在原生应用(尤其是 Rust/gpui)中接入播放与混音。

主要能力:

  1. 决策流程:事件是否在用户未注视时异步发生、是否重要且错过会有实际问题,据此决定静音、使用听觉图标(有现实参照)或耳标(抽象动机,可组合成家族),再选择应用内合成(fundsp)或采样资源(rodio/kira)。
  2. 核心规则:默认静音;提示音词汇上限约 6 个;每个声音都要有其价值,仅用于异步、重要、易错过的事件;按事件类别而非单个事件发声并合并突发;保持一致的调色板;尊重系统静音/勿扰并提供总开关与音量;在音频线程播放;音频不单独承载信息。
  3. 失败模式:逐一列出“处处点击都响”“惊扰/疲劳”“静音或勿扰下仍播放”“阻塞 UI 线程”“仅靠声音传递信号”的症状、检测与修复方法。
  4. 示例:Harbor 的“批准并着陆”和“智能体失败”提示音,说明何时发声、如何归入同一海事音色调色板、如何合成与母带处理,以及如何与视觉标志联动。
  5. 质量门:默认静音且可关闭、提示音数量受限、形成连贯家族、每次播放受静音/勿扰/应用设置控制、避免 2–5kHz 疲劳频段、在 UI 线程外播放、不出现仅声音信号。
  6. 参考文档:01 讲解 UI 音效设计原则(发声时机、功能词汇、耳标与听觉图标、心理声学、可访问性与伦理);02 给出 Harbor 的具体声音地图与动机家族(声呐、钟、雾号、旗帜挥动声,对应生成、登船、操舵、跳转、派遣、批准、失败、旗帜变更);03 介绍 Rust 音频栈(rodio/cpal/kira/fundsp/symphonia/oddio)、播放架构、声部池、延迟、线程外混音及与 gpui 循环集成;04 介绍合成方法(减法/FM/颗粒/物理建模)、工具(SuperCollider/Sonic Pi/Plugdata/Ableton)、短提示音母带处理(LUFS、瞬态整形)、格式与素材授权。

使用方式:按文档中的决策流程判断事件是否需要声音,依据参考文档设计提示音家族,再选择合成或采样方案,最后按 Rust 音频栈的建议接入播放与混音。

适用场景:原生桌面应用的 UI 音效设计、产品声音身份建立、短提示音合成与母带处理、Rust/gpui 应用中的音频播放架构。

限制:不适合音乐创作/配乐、语音合成/TTS/语音交互,也不涉及从零实现 DSP 原语或音频编解码。