2.1 输入输出规格(来自模型卡)#

两种本地检查点(Checkpoint):

一个典型示例<上传>”参考视频 1 的希区柯克式镜头运动 + 图 2 中的人物 + 音频 3 的歌声”,prompt 写一句”让图 2 里的人物按参考视频的运镜唱歌,歌声参考音频 3”,H3 直接一次出带原生双声道的 2K 成片。这不再是”执行一个融合任务”,而是”理解一段由视频、图片和文字共同构成的上下文”。

2.2 完整系统 = 三大模块#

官方明确,H3 不是单文件,而是三个模块协同的系统:

1. H3-Context-IR(托管,未开源) —— 多模态指令的”理解 + 编排”系统。它解析指令、做跨模态关联、时序理解和复杂逻辑推理,把”素材和素材、素材和目标之间的关系”序列化成模型能懂的 Context Intermediate Representation。官方强烈建议生成管线接入它,或按其 Prompting Guidance 自建预处理系统。
   • 代价<大部分素材要耗> ~100K Token 的推理,最后压成平均约 4K Token。
2. H3-Base(已开源) —— 真正的生成引擎,产出 768p 音视频(FL2VA / Ref2VA 两个检查点)。
3. H3-Regenerate-2K(托管,未开源) —— 把 768p 结果连同原始多模态上下文一起塞回 H3,原地”重新生成”一遍 2K 版本。

关键区分:本地部署的是 H3-Base,原生画布就是短边 768px;官方宣传的 2K 直出走的是托管 API 全链路。本地想要完整 2K 需本地 Base + 官方 Context-IR / Regenerate-2K API 拼起来。

3.1 Contextual Omni Representation(数据/标注层)#

训练 H3 最重要的一环是强化 Caption(描述)能力,但这里的 Caption 被彻底泛化了:

• 不只描述”目标视频”,还要描述上下文与目标的关系、上下文内部元素间的关系;
• 要联合描述视频和音频,而多镜头下的音画对应关系又更复杂一层。

这套表征就叫 Contextual Omni Representation。它的实现桥梁是语言——“语言(或者说广义的智力结构)是泛化的桥梁”。所有任务差异都被翻译成”描述上的差异”,模型结构因此能保持干净,用同一套表述能力覆盖训练里从没出现过的组合。这正是 H3 指令理解能力的根源。

3.2 H3-VAE(压缩层)<4> 倍序列长度收益#

H 系列一直啃 tokenizer 这块硬骨头。H3 一代彻底革新了前代技术:

• H3-VisualVAE<时序因果视频自编码器>,空间压缩 16×、时间压缩 4×、24 个 latent 通道(记作 f16t4d24),再做 1×2×2 patchify,进入 Transformer 时等效空间下采样 32×;训练完编码器后额外训了一个 ViT 解码器来降本提质。
• H3-AudioVAE<左右声道各用同一套编解码器独立处理再重组>,实现立体声输入输出;把 32kHz 音频压成 40Hz 的 latent token 序列。

结果:高压缩率带来 4 倍序列长度收益,大幅拉低训练与推理成本,这也是”敢默认提供原生 2K”的底气。

3.3 H3-Omni Transformer(架构层)<33b> 密集单流#

• 33B 参数、密集、单流 Transformer,其中 约 13B 参数在 AdaLN(自适应层归一化)相关分支——调制输出可预计算缓存,因此仅推理部署可以根本不加载这部分,这就是”剪枝版检查点只有 ~21GB”的来源。
• Attention 和 FFN 层不含任何模态专属结构;模态专属参数只集中在输入输出层和 AdaLN 分支。
• 位置编码用 MM-RoPE(3D 多模态旋转位置编码),在时间 + 两个空间维 (t,h,w) 上表达位置关系。
• 训练末段引入原生稀疏注意力(当前开源版本暂只给全注意力推理,稀疏实现后续发布)。
• 关键取舍<抛弃了曾带来显著优势的> Hailuo-02 架构。MiniMax 的原话是”架构技巧应为模型定义让路,任务泛化是不可逆转的趋势”。国内大模型团队主动砍掉自己最引以为傲的架构,并不常见。
• 因为多模态上下文让序列长度方差大了 3 倍、理解与生成的算力结构高度异质化,团队用了理解/生成异构训练架构,精细调不同 workload 下的硬件利用率,再做每样本异构计算 × 样本间负载均衡,端到端训练吞吐提升近 30%。
• 文本编码器 H3-Encoder 直接复用 Qwen3-VL-32B 的完整预训练权重,把第 50 层 hidden states 喂给 Omni Transformer——所以 oschina 那篇文章标题才叫”一个视觉语言模型只够当它的编码器”。

3.4 In-context Regeneration(输出层)<不靠超分>,靠”重生成”#

行业做 2K/4K 的常规思路是”先生成低清 → 套专用超分模块放大”,超分本质是在猜缺失细节,小字、纹理、光影经常糊。H3 的做法是:

把 768p 结果当作参考,连同原始多模态上下文一起再喂回基模”重新生成”一遍 2K。好处有二<①> 最大程度复用 H3 已有的生成能力;② in-context 形式能找回低清画面里已经看不见、但上下文里仍存在的信息(小文字、品牌 Logo 细节等)。这也是 H3 在片头/Logo/字幕等复杂文字场景不翻车的底层原因。这套方案本身也是”任务泛化”的一个体现。

4.1 榜单与第三方结论#

• Artificial Analysis 榜单(2026-07-31 发布日)<视频编辑能力>全球第一(Elo 1130),领先 Gemini Omni Flash、HappyHorse-1.0、Wan 2.7 等;文生视频第二、图生视频第三,六个偏好池全部进入前三。Artificial Analysis 评价:“发布权重将使其成为迄今遥遥领先的领先开源权重模型。”
• 诚实的一面<文生视频仍落后> Google Gemini Omni Flash,图生视频落后 Seedance 2.0 与 Gemini Omni Flash——它编辑第一,但并非样样第一。
• 多家实测(品玩、36氪、云栈、智东西)的共同结论:与 Seedance 2.0 打的有来有回,生成速度体感更快,复杂文字保持超过 Seedance 2.0。

4.2 五个真正能打的能力#

1. 跨模态复合参考(全模态上下文)<品玩实测>——上传红辣椒乐队动画参考视频 + 上海美罗城街景图,H3 不仅 get 到原视频人物运动,还识别出美罗城是球状屏幕,让运动遵循球面变形规律;视频图片都没声音,它自动补齐了 BGM、屏幕闪烁音效、人物进入球面屏的音效。
2. V2V Motion Transfer(视频到视频动作迁移)<把参考视频的人物动作> + 运镜轨迹迁到全新视频,同时保持目标画面风格与主体。广告/电商场景不用重拍即可让同一产品出现在不同动态场景。
3. 指令式精准编辑 / 导演级指令遵循<换台词>、配音、改嘴型、替换角色、删物体、加特效,都能在保持整体一致性的前提下局部改。品玩让范志毅采访视频”换种说法”,音色嘴型都还原得很好;打光测试里烛光→硬光→彩虹折射→红蓝对打→金色逆光连续变化,受光区域、面部阴影、金属高光都跟着变,红蓝阶段皮肤和真丝还保留材质感。
4. 复杂文本保持 / 品牌信息呈现<这是> H3 最出圈的专项。Logo 放玻璃杯上要理解折射、放墙上要理解曲率纹理、跟随镜头要不变形;片头英文演职员表清晰可读、不拼错、不乱码,且按时间块(按秒)执行的提示词能被严格遵循(游戏 UI 导览、0→100% 加载条、整环境加载等分镜逐一落位)。
5. 原生双声道 + 声音可写进提示词<音乐>、音效、环境声、对白与画面同一次生成,可指定”第 3 秒低鼓进、第 10 秒萨克斯即兴”这类时间点。支持中文台词、口型同步,对短剧、口播、产品讲解极实用。

4.3 已知短板(各评测如实披露)#

• 无官方对比评测表 / 技术报告(发布时),榜单位置验证的是托管链路,不代表本地 Base 检查点。
• 多镜头编排偶有动作重复(智东西实测<递奶茶动作连续出现两次>);部分场景仍有明显 AI 生成感(如寺庙建筑)。
• 细腻连续的物理交互仍不稳(云栈实测<粉底铺开>→贴合皮肤的过程被跳切成最终妆效)。
• 本地 768p 画布在 21<9> 等极端画幅下输出上限约 768×1344。

5.1 官方与第三方定价#

参照系 2.0 在即梦按会员积分折算约 2.97 元/秒;Seedance 2.0 720p 在 Atlas 约 0.24 美元/秒——H3 用更低的单价给出更高的分辨率。批量场景差距放大<100> 条 15 秒片,Seedance 约 4455 元,H3 的 2K 约 600 元、768P 约 345 元。

注意两个坑<①> 托管端 resolution 目前只接受 2K 一个值,README 里写的 768p 档已关闭——而 768p 恰是你本地跑权重时的原生画布,这正好形成对称;② 并发约 1 个任务,并发请求会 429,须串行调用。

5.2 为什么能这么便宜#

不是单纯补贴,是架构效率:

• H3-VAE 的 4 倍序列压缩直接砍掉训练/推理成本;
• 异构训练 + 负载均衡端到端 +30% 吞吐;
• 推理可裁剪掉 AdaLN 的约 13B 参数;
• 借鉴文本模型已验证的方法(复杂问题拆解、推理、上下文扩展、Muon 优化器、MSA 稀疏注意力)迁移到多模态训练。

6.1 下载与文件#

• 官方仓库 MiniMaxAI/MiniMax-H3 全拉取约 498 GB(所有精度变体 × 两检查点);ComfyUI 打包镜像 Comfy-Org/MiniMax-H3 约 343 GB。
• 你只需要 4 个文件<单任务最小工作集> 42.5 GB(剪枝版 fl2va + nvfp4 编码器 + 视频/音频 VAE);全 bf16 全套约 123.6 GB。
• 关键文件参考/ref2va 剪枝 int8 各 20.97GB、int8 34.04GB、bf16 66.28GB;文本编码器 qwen3vl-32b(4-bit AWQ 15.69GB / int8 27.14GB / bf16 51.51GB);视频 VAE 5.21GB;音频 VAE 0.61GB。
• 因为 ~13B AdaLN 参数推理时不用加载,ComfyUI 声称 12GB 显存 + 动态卸载(RTX 3060 级)可本地运行(需约 64GB 系统内存换 VRAM,速度会慢)。

6.2 部署与生态#

• 推理框架:SGLang、vLLM、diffusers、ComfyUI 四路齐发,支持多卡并行(SGLang 官方例 4 卡、ulysses-degree 4);发布检查点是 CFG-distilled 权重。
• 首日适配 16 家生态伙伴<芯片侧华为昇腾>、摩尔线程、沐曦、海光信息、昆仑芯、天数智芯、壁仞科技、AMD、Intel;社区/平台侧 Hugging Face、魔搭 ModelScope、ComfyUI、RunningHub、fal;框架侧 vLLM-Omni、SGLang。
• Intel 为 H3 提供 Day 0 支持<锐炫> Pro B70 上做 Encoder 8 卡张量并行 + DiT 8 卡 USP(配合 Layer-wise Offloading)+ VAE 部署,并开发 2TP×4USP 混合并行;H3 设计初期就考虑了多款国产芯片兼容性。

6.3 许可证(MiniMax H3 Community License,2026-08-02 生效)——必须读懂的条款#

MiniMax 自己的 Q&A 解释了原因<视频生成处于比文本更快的监管环境>(欧盟 AI 法案、英美韩规则、美国生成视频版权诉讼);API 因其控制服务基础设施而保持全球可用,开源权重则放弃了这种控制。严格说这是”开源权重”而非 OSI 意义上的开源——真正 Apache 2.0 开放的只有 Qwen3-VL-32B 编码器这一层。