多模态编排（Multimodal Orchestration）讨论的是如何设计多种模态在单次 AI 交互中的协同方式。AI 交互越来越多地跨越文本、图像、语音、代码、工具和结构化数据等多种模态，而设计这些模态如何协同工作，就是“编排”。每个团队都面临同一个风险：切换模态是因为它可用，而不是因为它服务于用户。多模态的重点不是使用每一种模态，而是在正确的时刻使用正确的那一种，并处理好模态之间的接缝。
一、模态选择 每种模态各有优势：
- 文本：精确、可编辑、可引用。最适合指令、解释和细腻内容。
- 图像：空间性、整体性、即时性。最适合布局、图表和视觉概念。
- 语音：自然、免手、有情感。最适合对话流和可访问性。
- 代码：可执行、精确、可验证。最适合技术规格和自动化。
- 结构化数据：表格、表单、JSON。最适合比较、配置和数据录入。
- 工具使用：在外部系统中执行动作。最适合执行，而非生成。
设计者需要决定 AI 在回复的每个部分使用哪种模态，以及邀请用户用哪种模态进行输入。
二、跨模态转换 当交互切换模态时，需要设计转换过程：
- 文本 → 图像：“这个布局可能长这样。”AI 根据文本描述生成视觉内容。
- 图像 → 文本：用户上传截图，AI 描述或点评它。
- 文本 → 工具：AI 写出计划，然后执行它。
- 语音 → 文本：把口头对话捕获并总结为结构化笔记。
转换应当感觉无缝，用户不应被迫手动切换模式。
三、模态冲突 有时模态之间会相互竞争：文本说一件事，图像显示另一件；语音语气与文本内容矛盾；结构化输出与对话框架不匹配。应为每个交互上下文确立一个主模态，其他模态作为支撑，用于展开主模态，绝不覆盖它。
四、决策规则
- 选择用户能据以行动的模态，而不是 AI 能产出的模态。如果用户想要一个数字，图表就是额外负担。
- 始终保留文本痕迹。语音和图像输出对屏幕阅读器不可访问、不可搜索，且会话结束即丢失。即使文本不是主模态，它也是审计日志。
- 当模态之间不一致时，主模态优先，并标记冲突。例如：“图里显示三个步骤，文本提到四个——让我核对一下。”
- 模态切换需要告知，或者具备极低成本的撤销。要么用户知道模式正在改变（“这是它的图表”），要么能一键关闭新模态。
- 不要在一句话中间切换模态。一轮内语音 → 图像 → 语音会打断用户处理节奏。应在轮次边界处成组输出模态内容。
- 输入模态属于用户。绝不要强迫用户离开他们最初选择的输入模态——AI 可以多模态输出，但输入由用户决定。
五、反模式
- 模态炫技：因为系统能做到就切换到花哨模态（图表、语音、生成式 UI），而非用户需要。用户看到的是把戏，不是帮助。
- 有损翻译：模态间转换丢失了重要信息。语音 → 文本会丢掉重音和停顿；图像 → 文本会丢掉空间关系。应捕获丢失的信息，或两者都保留。
- 模态锁定：AI 用模态 X 回复，用户就只能用模态 X 回应。语音提问强制语音回答，哪怕用户此时正在开会。
- 未告知的切换：交互中途无预警地改变模态。破坏可访问性、破坏用户预期，对屏幕阅读器用户尤其致命。
- 主模态交叉：两种模态都把自己呈现为权威。当它们不一致时，用户不知道该信哪个。
- 模态戏剧化：把用户想要散文的内容做成结构化输出（JSON、表格）。看起来严谨，读起来更差。
六、何时不使用
- 设计上就是单一模态的产品——搜索框、代码补全器、转写工具。不要因为模型支持就添加模态。
- 受限输入场景（驾驶、戴医用手套、低带宽）——选择在该场景下可用的那一种模态并坚持使用；编排开销是死重。
- 早期原型——先让一种模态良好运作，再添加接缝。大多数多模态失败源于主模态尚未就绪。
七、相关技能
- generative-ui：当支撑模态是生成式 UI 时，本技能定义何时切换，generative-ui 定义切换到什么。
- conversation-patterns：模态转换本质上是修复序列，应按此设计。
- progressive-disclosure：次级模态往往是高级功能，应有意识地披露。
- feedback-loops：追踪用户撤销了哪些模态切换，那是最响亮的隐式反馈信号。
八、设计产物
- 模态图：显示每个交互点使用哪种模态。
- 跨模态转换规格：触发条件、内容、模态不可用时的回退方案。
- 每个功能的输入/输出模态矩阵。
- 模态不可用时的回退定义（慢连接、屏幕阅读器、可访问性设置）。
九、示例：设计评审功能的模态矩阵
- 上传反馈：AI 主输出为文本确认，无支撑输出，用户输入为图像（稿图）。原因：用户处于图像思维模式，AI 用文本确认以留记录。
- 点评：AI 主输出为文本（编号），支撑输出为带标注的图像叠加层，用户输入为文本。原因：编号文本可引用，叠加层定位每个点。
- 建议修复：AI 主输出为带标注图像，支撑输出为文本理由，用户输入为文本或点击某点。原因：用户可选择视觉修复（一键）或书面理由。
- 迭代：AI 主输出为文本，支撑输出为图像差异，用户输入为图像（修订稿）。原因：迭代周期中文本占主导，因为用户想要比较而非印象。
注意其中的模式：AI 使用与用户输入匹配的模态，或最具可操作性的模态，并以文本作为骨架。图像多数时候是支撑，只有在视觉变更被确认的精确时刻才成为主模态。
本技能改编自多模态界面相关工作，以及“模态应映射到用户对任务的表征，而非系统能力”这一原则（Maybury & Wahlster 关于智能多媒体界面的论述）。