1. 整体骨架#

Qwen3-Omni 的核心架构叫 Thinker-Talker，直译就是”思考者 + 说话者”。但别被名字骗了，这里的 Thinker 不只是”想”，它负责所有模态的理解和文本生成；Talker 也不只是”说”，它负责把 Thinker 的多模态表征直接转化为流式语音。

1
输入（文本/图像/视频/音频）
2
       ↓
3
  ┌─────────────┐
4
  │   Encoders   │  AuT (650M) + SigLIP2 (543M)
5
  └──────┬──────┘
6
         ↓
7
  ┌─────────────┐
8
  │   Thinker    │  30B 总参数 / 3B 激活 (MoE)
9
  │  理解+推理    │  → 输出文本 + 隐状态
10
  └──────┬──────┘
11
         ↓
12
  ┌─────────────┐
13
  │   Talker     │  3B 总参数 / 0.3B 激活 (MoE)
14
  │  语音生成     │  → Multi-codebook AR → MTP → Code2Wav
15
  └─────────────┘
16
         ↓
17
       音频流输出

关键数字一览：

2. 相比 Qwen2.5-Omni 的三大架构升级#

这是整篇论文最值得关注的部分。Qwen3-Omni 相对前代做了三个关键替换：

升级一：Whisper → AuT（自研音频编码器）

Qwen2.5-Omni 用的是 OpenAI 的 Whisper 做音频编码。Qwen3-Omni 直接换成了自研的 Audio Transformer (AuT)，650M 参数，在 2000 万小时监督数据上从零训练（80% 中英 ASR，10% 其他语种 ASR，10% 音频理解）。AuT 输出 12.5Hz 的 token 速率——也就是每秒音频只产生 12.5 个 token，这对实时推理的延迟控制至关重要。

效果？Wenetspeech 的 WER 从 5.91 降到 4.69，Librispeech clean 从 1.74 降到 1.22。这两个数据集分别是中文和英文 ASR 的硬指标，提升幅度在 20%-30%。

升级二：Dense → MoE（Thinker 和 Talker 都换成混合专家）

Thinker 从稠密模型换成了 30B 总参数、3B 激活 的 MoE 结构，Talker 同样是 3B 总参数、0.3B 激活 的 MoE。这意味着推理时只激活约 10% 的参数，计算量和一个 3B 稠密模型差不多，但表征能力对标 30B。

这是能在实时对话场景落地的关键——你不能让一个全模态模型在回答用户问题时延迟 5 秒。

升级三：扩散声码器 → 因果卷积声码器（Code2Wav）

Qwen2.5-Omni 的语音合成后端用的是 block-wise 扩散模型，每个语音片段都要跑若干步去噪。Qwen3-Omni 换成了 轻量因果卷积网络（Causal ConvNet），200M 参数，可以直接从左到右逐 token 生成波形，不需要迭代。

这个改动直接让语音首包延迟从”秒级”压到了 234 毫秒。

3. TM-RoPE：异步多模态的位置编码#

多模态输入有一个很烦人的问题：不同模态的采样率不一样。视频可能 2fps，音频 12.5Hz，文本是离散 token。Qwen3-Omni 提出了 TM-RoPE（Time-aligned Multimodal Rotary Position Embedding），把位置编码拆成三个维度：时间（24 维）、高度（20 维）、宽度（20 维），不同模态按自己的时间戳对齐。

这比简单的”拼在一起顺序编号”优雅得多，尤其是处理长视频+音频的异步场景时。

1. Multi-Codebook 自回归 + MTP#

Talker 的语音生成流程是这篇论文最有工程含量的部分。它没有走”先生成文本再 TTS”的路线，而是直接从 Thinker 的多模态隐状态预测语音码本。

具体来说：

• Talker 用 自回归 方式逐帧预测第一层离散码本（Layer 1）
• 然后 MTP（Multi-Token Prediction） 模块——一个 80M 的 dense transformer——并行预测剩余码本层（Layer 2-8）
• 最后 Code2Wav 把码本转成波形

关键点在于 Talker 的生成是 “left context only” 的，也就是只看左边的上下文就能输出当前帧，不需要右边的信息。这使得它可以完全流式运行。

2. 延迟数据#

论文给出了详细的延迟分解，测试条件是单卡推理：

RTF（Real-Time Factor） 始终低于 1.0，意味着生成速度始终快于实时播放速度，不会出现”说着说着卡住”的情况。即使在 6 并发下 RTF 也只有 0.66。

234ms 的音频首包延迟是什么概念？人类对话中，200-500ms 的停顿被认为是”自然换话”，所以这个延迟在实际对话中几乎无感。

3. Benchmark 对比#

在语音生成质量的评测上，Qwen3-Omni 和主流 TTS 系统的对比：

在零样本语音克隆（zero-shot voice cloning）场景下，Qwen3-Omni 的内容一致性和说话人相似度全面碾压 ElevenLabs，在英文测试集上也小胜 CosyVoice3。跨语种场景和 CosyVoice3 互有胜负。

1. 从 Qwen3 的 Thinking 到 Qwen3-Omni 的 Thinking#

Qwen3 文本模型已经引入了 Thinking 模式（类似 OpenAI o1 的链式推理）。Qwen3-Omni 把这个能力扩展到了全模态——不仅能”想”文字，还能”想”图片和音频。

论文发布了三个版本：

• Qwen3-Omni-30B-A3B：基础版
• Qwen3-Omni-30B-A3B-Thinking：带推理链的思考版
• Qwen3-Omni-30B-A3B-Captioner：音频描述专用版

Thinking 版本使用了 off-policy 蒸馏 + on-policy 蒸馏 + GSPO（基于规则和 LLM-judge 的奖励信号）来训练。

2. Thinking 带来的增益#

看几组数据，感受 Thinking 模式在不同任务上的效果：

Thinking 版本在数学、视觉推理、音视频联合推理上都有显著提升。特别值得注意的是 DailyOmni 和 VideoHolmes 这两个音视频联合理解 benchmark，Thinking 版本分别超过 Gemini-2.5-Flash-Thinking 3.1 分和 7.8 分。

3. Thinking 的局限性#

论文也很诚实地报告了 Thinking 不管用的场景：基础感知任务。在 ASR（语音识别）、音乐分类（GTZAN）等任务上，显式推理链不但不帮忙，反而可能引入幻觉。这很合理——你不需要”思考”一段话说了什么，你需要的是精准感知。

1. 预训练三阶段#

阶段一：编码器对齐 冻结 LLM 主体，只训练编码器的投影层，让 AuT 和 SigLIP2 的输出空间和 LLM 对齐。

阶段二：全参数预训练 解冻所有参数，在约 2 万亿 token 上混合训练。数据配比：

注意音频和图像的 token 量是文本的 1.4 倍。这不是”文本为主、其他为辅”的设计，而是真正以多模态为主体的训练。

阶段三：长上下文扩展 把上下文窗口扩展到 32,768 tokens，用大量长序列数据（40 分钟以上的音频、长视频）做持续训练。

2. 后训练#

Thinker 的后训练包括：

• SFT（监督微调）
• Off-policy 蒸馏：从大规模教师模型蒸馏
• On-policy 蒸馏：从自身生成数据中学习
• GSPO：结合规则奖励和 LLM-judge 奖励的策略优化

Talker 的后训练是一个四阶段流程：

1. Continual Pretraining：在更大语音数据上继续预训练
2. DPO：提升多语种稳定性
3. Speaker Tuning：说话人个性化微调
4. Safety Alignment：安全对齐

1. 文本理解与推理#

和同系列纯文本模型 Qwen3-30B-A3B 以及 GPT-4o 的对比：

在纯文本任务上，Omni-Instruct 略低于同规模纯文本模型（AIME25 差 20 分），但 Thinking 版本大幅缩小差距。ZebraLogic 上 Omni 远超 GPT-4o（76.0 vs 52.6）。

2. 语音识别与音频理解#

Wenetspeech 上对 Gemini-2.5-Pro 的优势是碾压级的（4.69 vs 14.43）。Librispeech 上甚至超过了 GPT-4o。

3. 视觉理解#

一个 30B 的全模态模型（Thinking 版）在 MMStar 和 MMMU-Pro 上超过了 72B 的纯视觉模型 Qwen2.5-VL-72B，这本身就是架构效率的证明。

4. 音视频联合理解#

论文的核心结论：在 36 个音频和音视频评测中，32 个拿到开源模型最佳，并且超过 Seed-ASR、GPT-4o-Transcribe、Gemini-2.5-Pro 等闭源系统。

模型参数速查#

关键延迟指标#

关键 Benchmark 速查#

核心概念清单#