概述
MiniMax H3 是一个通用型全模态生成系统，支持对由文本、图像、视频和音频构成的多模态上下文进行统一理解，并能生成带原生立体声音频的视频，分辨率最高 2K，时长最长 15 秒。官方称，得益于面向任务泛化的系统设计，H3 在预训练阶段便具备较广的多模态上下文理解与生成能力，在遵循复杂多模态指令方面表现突出。
系统组成
完整的 H3 系统包含三个模块：
- H3-Context-IR：面向日益复杂的输入，深度理解并精炼输入的多模态指令，将其转换为 H3 易于理解的“上下文中间表示”（Context Intermediate Representation）用于生成。官方强烈建议将其纳入生成流程，或参照 Prompting Guidance 自建上下文处理系统。该模块依赖多阶段工作流和多个托管模型与服务，未包含在本次开源发布中，官方提供 API 以复现官方工作流行为。
- H3-Base：基于 H3-Context-IR 的输出生成音频与视频，输出 768p 分辨率结果。
- H3-Regenerate-2K：将 768p 结果与原始上下文一起回灌 H3，重新生成 2K 分辨率输出，从而利用 H3 的生成能力和原始上下文中的丰富信息，产出细节更准确、保真度更高的高分辨率结果。该模块尚未开源，官方提供 API 用于验证官方结果。
模型架构
H3-Base 使用各模态对应的编码器或 VAE 编码不同模态，并将编码表示组织为统一的打包多模态序列，使用 RoPE 捕捉 token 间必要的空间与时间关系，再送入 H3-Omni-Transformer。具体而言：文本由 H3-Encoder 编码；视觉输入由 H3-Encoder 和 H3-VisualVAE 共同编码；音频仅由 H3-AudioVAE 编码。H3-Omni-Transformer 联合预测视频与音频 latent，再分别解码为视频和立体声音频。
为降低长多模态序列的计算开销，H3 原生支持稀疏注意力训练与推理，但初始开源版本仅提供全注意力推理，稀疏注意力实现将在后续更新中发布。
H3-Encoder 使用 Qwen3-VL-32B 的完整预训练权重，并向 H3-Omni-Transformer 提供其第 50 层的隐藏状态。分词器配置中新增了 <d> 等特殊 token，使用 H3 时需要 H3 仓库提供的分词器及相关配置文件。
H3-VisualVAE 是时间因果视频自编码器，空间压缩因子 16×、时间压缩因子 4×、24 个 latent 通道，记为 f16t4d24。视觉 latent 在送入 Transformer 前按 (时间, 高, 宽) 维度以 1×2×2 的 patch 进一步分块，因此进入 Transformer 的视觉 token 有效空间下采样因子为 32×，时间下采样因子仍为 4×。其 latent 空间同时针对重建质量和生成模型易学习性进行优化，训练编码器后额外训练了基于 ViT 的解码器以降低解码成本并进一步提升重建质量。
H3-AudioVAE 对左右声道使用相同的编码器和解码器并独立处理各声道，再合并解码结果，从而支持立体声音频输入输出。每个声道将 32 kHz 音频压缩为时间率 40 Hz 的 latent token 序列；参考 VA-VAE 优化 latent 空间，在保持音频重建质量的同时便于生成模型学习。
H3-Omni-Transformer 是 33B 参数的稠密单流 Transformer，其中约 13B 参数位于 AdaLN 相关分支。由于 AdaLN 调制输出可预计算并缓存，纯推理部署时无需加载这些参数。官方发布完整模型权重以支持包括微调在内的进一步开发。注意力层和 FFN 层均不含模态特定结构，模态特定参数仅限于输入/输出层和 AdaLN 分支；模态特定 AdaLN 以相对较低的额外训练与推理成本提升生成质量。模型使用三维多模态旋转位置嵌入（MM-RoPE）表示 (t, h, w) 时间与两个空间维度上的位置关系。训练最后阶段引入原生稀疏注意力以降低长序列计算成本，该实现未包含在初始开源版本中。
使用方式
通过 API 使用：全球平台 platform.minimax.io，中国平台 platform.minimaxi.com。
通过应用使用：WebApp 全球 hailuoai.video，中国 hailuoai.com；桌面端全球 hub.minimax.io，中国 hub.minimaxi.com。
本地部署 H3-Base：H3 以两个任务特定 checkpoint 发布，每个 checkpoint 包含专用 Omni Transformer 模型及所需处理器、分词器、文本编码器、Visual VAE 和独立 Audio VAE 组件，为 CFG 蒸馏的 Omni Transformer 权重。每个 checkpoint 以自包含的 Hugging Face 风格仓库发布。仓库同时托管原始 checkpoint（FL2VA/、Ref2VA/）和 diffusers 格式；model_index.json 是仓库级公共入口，任务族特定的 diffusers 索引位于 FL2VA/model_index.json 和 Ref2VA/model_index.json。diffusers 用户无需手动下载：ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3") 会按需获取所需组件。
推荐推理框架：SGLang、vLLM、diffusers、ComfyUI（有 R2V 模板 / T2V 模板）。以 SGLang 为例的部署示例覆盖 T2VA、FL2VA、Ref2VA 三种用例，示例脚本中的 conditions[].uri 默认指向公共 CDN，也可改为 file:// 本地路径；该路径由 SGLang 服务进程解析而非执行 curl 的机器，须指向服务端可访问的文件；若服务运行在容器中，文件需位于已挂载到容器的目录中（如挂载主机目录到 /data/minimax-h3 并引用 file:///data/minimax-h3/...）。
完整 2K 工作流：将本地部署的 SGLang 服务与官方 H3-Context-IR、H3-Regenerate-2K API 结合，以复现 MiniMax API 直接生成的 2K 视频质量。需先配置 SGLang endpoint 和 MiniMax API 凭据，使用 /video-generation-v2-create、/video-generation-v2-h3-context-ir、/video-generation-v2-regeneration 等接口。示例将本地 H3-Base 输出文件编码为 Base64 Data URL；生产环境建议将视频上传至公开可访问 URL 并作为 base_video 传入。
提示词书写技能
仓库内置九个技能，其中之一为 H3 prompt writing skill，包含 skills/h3-prompt-writing/references/ 下的两份提示词指南：base-en.txt 用于文本/关键帧模式，ref-en.txt 用于全参考（Ref2VA）模式。该技能为纯 Markdown + 参考文件，无外部 API 调用，可用于 Claude Code、Claude Agent SDK、Cursor、Windsurf、基于 OpenAI 的智能体/Codex、LangChain 等能够读取 SKILL.md 和本地文件的载体；随附的 skills/h3-prompt-writing/agents/openai.yaml 仅为 ChatGPT/Codex 技能 UI 添加可选元数据（显示名称、描述、默认提示词），不将该技能限制于 OpenAI 智能体。其余八个为面向 MiniMax Hub 画布工作流（hub_generate_video、hub_generate_image、画布节点、选择卡片等）的风格化视频生成技能，无法移植到通用智能体载体。
HuggingFace 发布中的提示词指南文档未复制到本仓库。
安全防护
用户提交的文本、图像和视频以及增强后的提示词均受自动审核，疑似违法、色情或侵犯第三方权利的内容可能被拦截。官方使用行业标准过滤措施，但无法消除误报或漏报；这些防护不影响被许可方在 MiniMax H3 社区许可协议下的义务，尤其是关于合法使用和使用限制的义务。
输入输出与限制
H3 支持文本到视频、图像到视频、首尾帧到视频、文本到音视频等输入输出规格，具体完整规格以官方发布为准。目前初始开源版本仅支持全注意力推理；H3-Context-IR 和 H3-Regenerate-2K 未开源，需通过 API 调用；H3-Base 本地部署输出 768p，2K 需结合官方 API 完成；模型以社区许可协议发布，联系方式为 model@minimax.io。
