Seamless 是 Meta（facebookresearch）开源的一系列基础模型，面向高质量的语音与文本翻译，目标是让跨语言交流更自然、更真实。
一、模型家族与用途 SeamlessM4T 是基础的全能型大规模多语言多模态机器翻译模型，支持约 100 种语言的语音与文本翻译。它支持的任务包括：语音到语音翻译（S2ST）、语音到文本翻译（S2TT）、文本到语音翻译（T2ST）、文本到文本翻译（T2TT）以及自动语音识别（ASR）。其 v2 版本采用新的 UnitY2 架构，在语音生成任务上相比 v1 提升了质量并降低了推理延迟。 SeamlessExpressive 是语音到语音翻译模型，能捕捉语速、停顿等韵律特征，同时保留说话者的语音风格，并保持较高的内容翻译质量。 SeamlessStreaming 是流式翻译模型，支持语音输入，输出模态可为语音或文本，支持同声传译与流式 ASR。 Seamless 是统一模型，用于富有表现力的流式语音到语音翻译，本质上是将 SeamlessStreaming 的非表现力声码器 vocoder_v2 替换为表现力声码器 vocoder_pretssel。
二、主要能力 该仓库还开源了基于 Conformer 的 W2v-BERT 2.0 语音编码器，它是 Seamless 模型的核心组件。此外还包含面向多模态翻译的评测工作，如 BLASER 2.0（支持语音与文本的模型化评测指标，无需中间 ASR），其底层嵌入空间为 SONAR。SONAR 是句子级多模态、语言无关的表示空间，提供多种语言的文本与语音编码器。SimulEval 用于评测同声传译模型，并提供流式推理后端。项目还发布了表情丰富语音数据集 mExpresso 和 mDRAL（英语与法语、德语、意大利语、中文普通话、西班牙语之间），以及表情丰富语音对齐数据集 SeamlessAlignExpressive（首个大规模、超过 1.1 万小时的多语言表情翻译音频对齐集合）。
三、使用方式 前提条件：需要 fairseq2，其预编译包仅提供 Linux x86-64 和 Apple 芯片 Mac；还依赖 libsndfile；评测中用到的 Whisper 会自动安装，而 Whisper 需要系统安装 ffmpeg。 可通过仓库根目录的 CLI 运行推理，具体命令与支持的语言列表见 inference README。也可以使用 unity.cpp 以 GGML（C 张量库）原生运行 SeamlessM4T 的 S2TT/ASR，无需 Python。SeamlessExpressive 需要先通过申请表单获取模型文件（审批后邮件发送下载链接），其使用受独立许可与可接受使用政策约束。SeamlessStreaming 与 Seamless 的评测见 Streaming Evaluation README，CLI 的 --no-scoring 选项可跳过打分只做推理。SeamlessStreaming 演示可通过复制 Hugging Face Space 运行，也可本地克隆；SeamlessM4T 与 SeamlessExpressive 的 Gradio 演示同样支持本地启动。模型在 Hugging Face 上以 Model Card 形式提供，SeamlessM4T 也可在 Transformers 库中使用。此外还提供 NeurIPS 2023 Seamless EXPO 教程笔记本。
四、适用场景 适用于多语言语音与文本翻译研究、同声传译系统开发、流式语音识别、语音风格与韵律保留的翻译实验，以及多模态翻译评测与数据集构建。
五、限制与许可 官方开发约在 2024 年 11 月停止；固定的 fairseq2 0.2.x 依赖无法在 Python 3.12 及以上版本安装。非生成式组件采用 MIT 许可（如 mExpresso 的纯文本部分、UnitY2 强制对齐提取器、基于 etox 的语音毒性工具及 MuTox）。SeamlessM4T（v1 和 v2）与 SeamlessStreaming 模型采用 CC-BY-NC 4.0 许可。Seamless 与 SeamlessExpressive 模型采用 Seamless 许可。
