Gesture Synth 是一款免费的在线手势合成器，让用户用双手演奏音乐。它通过摄像头追踪手部动作，将手势实时转化为音乐控制，无需账号、下载或专用硬件，在浏览器中即可使用。官方已在 Google Chrome 中测试。
用途
Gesture Synth 定位于“音乐想法成形之前”的阶段：探索和弦进行、塑造音色，然后趁灵感鲜活时录制一段短演奏。可用于尝试熟悉的 I-IV-V 进行、测试和弦声部配置，或在打开大型音乐项目之前先找到一种纹理。
主要能力
- 双手控制：左手塑造和声，选择和弦级数及大/小调色彩；右手控制声部、八度、音量与滤波器。屏幕上的和弦与性质读数帮助用户将手势形状与听到的声音对应起来。
- 可演奏的声音引擎：可在 12 个调中选择，并在 warm（暖色）、bright（明亮）、retro（复古）三种合成音色之间切换。浏览器原生声音引擎会随手的位姿变化即时响应。
- 本地 MP4 演奏录制：最多可捕获 5 分钟带生成音频的实时合成器画面，并下载为 MP4。选择录制时浏览器会请求麦克风权限，将麦克风音频与演奏画布合成。下载内容仅包含演奏舞台，不包含页面控件、其他标签页、应用窗口或桌面屏幕。
- 隐私设计：摄像头画面、麦克风音频、合成音频、手部关键点和录制内容均保留在本地乐器中；在启用时，匿名页面使用遥测可能会发送给 Microsoft Clarity。
使用方式
- 保持双手在画面内，光线充足，留出足够活动空间。
- 预览就绪后，选择中央圆形控件开始发声。
- 需要本地 MP4 录制时，使用红色录制控件。
基本演奏流程：允许摄像头访问（首页打开时会请求），选择中央播放按钮，用左手比出 I 级和弦，再用右手加入根位声部。左手伸出一根非拇指手指代表 I 级，向内倾斜为大调（中立倾斜也是大调），保持手势直到和弦标签稳定；尝试向外小幅倾斜可听到小调色彩。右手伸出一根非拇指手指代表根位，举手提高音量、放下降低音量，加入另一根非拇指手指可听到第一转位。建议一次只改变一个控制，并让视觉读数稳定后再切换下一个手势。
适用场景
- 用左手的移动在和弦级数之间切换，用倾斜塑造大/小调色彩，找到进行。
- 用右手逐次改变声部、八度、音量与滤波器，为声音赋予性格（拇指位置改变八度，右手倾斜改变滤波器响应）。
- 当短小的想法出现时，在支持的浏览器中本地录制为 MP4，并自行决定分享到哪里；下载文件留在设备上，Gesture Synth 没有发布工作流。
技术原理
MediaPipe 为每只手估计 21 个关键点。轻量级手势映射器将这些位置转化为稳定的音乐状态，然后 Web Audio 响应，无需服务器往返。追踪器优先使用 GPU 处理，必要时回退到 CPU，为兼容设备提供第二条启动乐器的路径。
限制与注意事项
- 乐器免费使用，不需要账号、订阅或支付方式。
- 手部检测、麦克风混合和录制在浏览器中运行；摄像头画面、关键点、麦克风音频、合成音频和录制内容不会发送到服务器。可通过关闭页面、撤销浏览器权限或在设备上禁用摄像头来停止摄像头访问。
- 已在 Google Chrome 中测试；摄像头访问、手部追踪、声音、画布捕获和 MP4 录制取决于所用浏览器和设备，其他浏览器不作保证。若某功能不可用，请先阅读乐器中显示的具体提示再重试。
- 录制会自动在 5 分钟后停止。
- 现代浏览器仅向安全页面开放摄像头：开发时 localhost 可用，公开部署必须使用 HTTPS。
- 其他细节（如具体定价、更多平台支持等）暂未提供。
