1. WaveNet：起点#

2016 年 9 月（arXiv<1609>.03499）。DeepMind 的波形级自回归开山之作：逐样本预测 16 kHz 波形，用因果膨胀卷积建模长程依赖。MOS 达到 4.21（自然语音 4.46/4.55），首次让机器语音”像人”到可参加图灵测试的程度。代价是生成速度远慢于实时——每个样本依赖前一个样本。核心意义：证明”神经波形合成可行”，但需要找到加速路径。

2. 全神经管线与端到端：Deep Voice、Tacotron#

• Deep Voice（百度，2017.02，arXiv<1702>.07825）：首个把文本前端、声学模型、声码器全部网络化的 TTS 系统，后续 Deep Voice 2（1705.08947）支持多说话人、Deep Voice 3（1710.07654）改为全卷积 seq2seq；
• Tacotron（Google，2017.04，arXiv<1703>.10135）：seq2seq + 注意力，直接从文本生成频谱——“文本→语音”一步到位，不再需要手工特征；
• Tacotron 2（Google，2017.12，arXiv<1712>.05884）：seq2seq 预测 mel 谱 + WaveNet 声码器，LJSpeech 上 MOS 4.53（自然 4.58），被公认为”第一个接近人类的神经 TTS”，也是此后两年的事实标准。

3. 提速三路线：蒸馏、流、DSP 混合#

• Parallel WaveNet（DeepMind，2017.11，arXiv<1711>.10433）：概率密度蒸馏让 WaveNet 并行化，GPU 上 >20× 实时（比原版快约千倍），2018 年上线 Google Assistant——音频生成第一次走上生产环境；
• WaveGlow（NVIDIA，2018.10，arXiv<1811>.00002）：基于流的单网络声码器，V100 上 >500 kHz（>25× 实时）；
• LPCNet（Mozilla，2018.10，arXiv<1810>.11846）：线性预测编码 + 稀疏 GRU，约 3 GFLOPs，CPU 单核即可实时——低算力设备路线。

1. 非自回归革命：FastSpeech 系列#

FastSpeech（微软，2019.05，arXiv<1905>.09263）：首个非自回归并行 TTS，一次前向生成整段频谱，~270× 加速（代价是先训练 teacher 模型做时长对齐）。FastSpeech 2（2020.06，arXiv<2006>.04558） 免去蒸馏，显式建模 duration/energy/pitch，训练快 3 倍、质量反超。并行合成范式由此确立。

2. GAN 声码器：MelGAN 与 HiFi-GAN#

• MelGAN（Lyrebird，2019.10，arXiv<1910>.06711）：首个实用 GAN 声码器，1080Ti 上 >100× 实时；
• HiFi-GAN（Kakao，2020.10，arXiv<2010>.05646）：多周期判别器（MPD），22.05 kHz，V100 上 167.9× 实时，此后两年成为开源 TTS 的”标准声码器”。

3. VITS：完全端到端#

VITS（Kakao，2021.06，arXiv<2106>.06103）：CVAE + flow + GAN 三合一，文本直接到波形，没有中间频谱/声码器环节，LJSpeech MOS 4.43。它是”端到端”理念的完成态，也是 2021–2023 年开源 TTS 的默认基线。

4. 音乐生成的先行者（插叙）#

• MuseNet（OpenAI，2019.04）：符号（MIDI）音乐预训练 Transformer，72 层稀疏注意力、4096 token 上下文、10 种乐器——验证”预测下一个 token”同样适用于音乐；
• Jukebox（OpenAI，2020.04，arXiv<2005>.00341）：首个生成原始音频+人声歌唱的模型，多尺度 VQ-VAE（8×/32×/128×）压缩 44 kHz 波形 + 自回归 Transformer，顶层 prior 5B 参数、训练 120 万首歌。代价极端：渲染 1 分钟音频约需 9 小时。它同时预告了两个未来方向——“压缩后再建模”和”自回归原始音频”。

5. SoundStream：音频 token 化的起点（分水岭①）#

SoundStream（Google，2021.07，arXiv<2107>.03312）：首个端到端可学习的神经音频编解码器，RVQ（残差向量量化）+ SEANet + 多尺度判别器，单模型支持 3–18 kbps 可变码率，3 kbps 的主观质量超过 Opus 12 kbps。它的意义超出压缩本身：把连续波形变成离散 token，让音频可以像文本一样交给语言模型建模——这是后续一切”音频大模型”的地基。

1. 编解码器基础设施#

• EnCodec（Meta，2022.10，arXiv<2210>.13438）：SEANet + RVQ，24 kHz 1.5–24 kbps、48 kHz 3–24 kbps，Transformer 熵编码再省 25–40% 码率，6 kbps ≈ MP3 64 kbps。它是 MusicGen、AudioGen 等 Meta 系模型的标配 tokenizer；
• DAC（Descript，2023.06，arXiv<2306>.06546）：通用 RVQGAN，44.1 kHz @ 8 kbps ≈ 90× 压缩，一个模型覆盖语音/音乐/环境音，NeurIPS 2023 spotlight。

2. 音频理解奠基：Whisper 与 AudioLM#

• Whisper（OpenAI，2022.09，arXiv<2212>.04356）：弱监督 ASR/翻译/语音识别，68 万小时多语数据、99 语种、39M–1.55B 参数，零样本抗噪泛化极强（large-v3 于 2023.11 发布）。严格说它是”理解”而非”生成”模型，但它重新定义了语音数据管线的质量上限，成为后续所有语音大模型的事实标准前端；
• AudioLM（Google，2022.09，arXiv<2209>.03143）：纯音频语言建模（语音/钢琴续写），语义+声学混合 token，人耳盲测中正确识别 AI 语音的比例仅 51.2%（接近随机 50%），即基本无法区分——“音频即语言”范式正式确立。

3. 零样本 TTS 开山：VALL-E 与同类#

• VALL-E（微软，2023.01，arXiv<2301>.02111）：把 TTS 变成”音频 token 的条件语言建模”——3 秒参考语音即可克隆音色与韵律，LibriSpeech WER 5.9%。它点燃了”音频 token 大模型”军备竞赛，后续一切零样本 TTS 都可溯源至此；
• Tortoise TTS（开源，2022）：AR 生成 latent + 扩散声码器，社区零样本标杆；
• NaturalSpeech 2（微软，2023.04，arXiv<2304>.09116）：RVQ + 潜扩散，4.4 万小时数据，零样本 + 歌声合成；
• Voicebox（Meta，2023.06，arXiv<2306>.15687）：非自回归流匹配 + infilling 任务（文本修复式训练），5 万小时/6 语种，推理 20× 快于 VALL-E——扩散/流匹配路线首次与自回归正面交锋；
• Bark（Suno，2023.04 开源）：GPT 风格文本→音频（人声+音乐+音效），Suno 公司的技术前身。

4. 音乐与音效生成大模型#

• MusicLM（Google，2023.01，arXiv<2301>.11325）：分层 seq2seq（SoundStream + w2v-BERT 600M + MuLan 文本嵌入），24 kHz 多分钟连贯音乐；同期发布 MusicCaps 5.5k 音文对基准，成为此后音乐生成的评测标准；
• AudioGen（Meta，2022.09，arXiv<2209>.15352）：文本→音效，1B（large；另有 285M base），EnCodec token 自回归，ICLR 2023；
• AudioLDM（Surrey，2023.01，arXiv<2301>.12503）：CLAP 条件潜在扩散，单 GPU 即可训练即达当时最优（ICML 2023）；
• Tango（NVIDIA，2023.04，arXiv<2304>.13731）：Flan-T5 指令编码 + LDM，训练数据小 63 倍仍超 AudioLDM；
• MusicGen（Meta，2023.06，arXiv<2306>.05284）：单阶段 LM + EnCodec 4 码本并行预测，32 kHz、训练 2 万小时许可音乐，300M/1.5B/3.3B 三档开源；3.3B 在 MusicCaps FAD=3.8，此后两年开源音乐生成的事实基线。

5. 语音进 LLM：SpeechGPT 与 AudioPaLM#

• SpeechGPT（复旦，2023.05，arXiv<2305>.11000）：语音 token 离散化后进 LLM，跨模态对话的早期尝试；
• AudioPaLM（Google，2023.06，arXiv<2306>.12925）：PaLM-2 + AudioLM 统一”听说”，翻译时保留说话人身份。

1. 统一生成模型#

• AudioLDM 2（Surrey，2023.08，arXiv<2308>.05734）：提出”语言化音频”（LOA，AudioMAE + GPT-2 生成描述）+ LDM，一个模型统一语音/音乐/音效，1.1–1.5B；
• Stable Audio（Stability AI，2023.09，arXiv<2402>.04825）：时序条件潜在扩散，扩散 U-Net 约 0.9B（全模型约 1.15B）、44.1 kHz 立体声 95 秒、A100 渲染仅 8 秒；训练数据 80 万文件 ≈ 1.95 万小时（AudioSparx 授权语料）——“快”第一次成为卖点；
• Audiobox（Meta，2023.12，arXiv<2312>.15821）：flow-matching 统一语音/音乐/音效，AudioCaps FAD 0.77、零样本 TTS 相似度 0.745。

2. 听觉 LLM 与语音克隆#

• SALMONN（清华/字节，2023.10，arXiv<2310>.13289）：通用听觉 LLM（语音/音效/音乐理解），13B（Vicuna 基础，开源仓库另有 7B 检查点）；
• Qwen-Audio（阿里，2023.11，arXiv<2311>.07919）：统一多任务音频理解，用多任务共训规避一对多映射退化；
• OpenVoice（MyShell，2023.12，arXiv<2312>.01479）：即时克隆 + 风格/情感可控 + 零样本跨语种；
• XTTS（Coqui，2023.11）：多语零样本开源 TTS，v2 MOS 4.21，2024 年成为 HuggingFace 下载量最大的开源 TTS（约 930 万次）。

3. AI 音乐产品化前夜#

• Lyria（Google DeepMind，2023.11.16）：承接 MusicLM 技术的音乐生成 API 首发（MusicLM 本身于 2023.05 经 AI Test Kitchen 开放，无独立 API）；
• Suno 公开上线（2023.12.20）：集成微软 Copilot，chirp-v1/v2 最长 80 秒——“AI 音乐平台”这一物种诞生；
• ElevenLabs v2（2023.08/12）：商业 TTS 标杆，多语种、极低延迟。

4. 2024 年初的爆发前奏#

• GPT-SoVITS（开源，2024.01）：5 秒零样本克隆、1 分钟微调跨语种，GitHub 5.9 万 ★，中文社区现象级项目；
• Suno v3（2024.03.21）：“广播级”质量、2 分钟歌曲，被 Rolling Stone/Wired 评价为”首批能在短片段中骗过普通听众的 AI 音乐”——AI 音乐的 ChatGPT 时刻；
• NaturalSpeech 3（微软，2024.03，arXiv<2403>.03100）：FACodec 分解语音属性 + 扩散，1B/20 万小时；
• Udio（2024.04.10 公测）：前 Google DeepMind 团队（Uncharted Labs，约 1000 万美元种子，a16z）——Suno 的”双子星”对手出现；
• Stable Audio 2.0（2024.04.03）：3 分钟整曲、audio-to-audio 与风格迁移；
• 天工 SkyMusic（昆仑万维，2024.04.17）：中国首个端到端音乐 AIGC；网易天音（2024.05）上线免费 AI 作词/作曲/演唱一体化。

1. 端到端实时语音：GPT-4o 与全双工时代#

• GPT-4o（OpenAI，2024.05）：首个原生端到端音频大模型（音频直接进出，无 ASR→LLM→TTS 级联），音频响应平均 320 ms（最低 232 ms），而旧级联管线需 2.8–5.4 秒——语音交互第一次进入”人感”延迟区间。2024.09.24 高级语音模式向 Plus 用户全量开放（50+ 语种、可打断）；
• Moshi（Kyutai，2024.07 首次公开演示 / 2024.09 开源，arXiv<2410>.00037）：首个实时全双工口语 LLM：Inner Monologue 双流架构（同时处理”说什么”与”怎么说”），Helium 7B + Mimi 编解码器，理论延迟 160 ms/实测约 200 ms；
• Gemini Live（Google，2024.08.13 首发）：语音实时助手，2025 I/O 后全平台免费、45+ 语种；
• Mini-Omni（清华，2024.08，arXiv<2408>.16725）：首个开源”语音进语音出”全模态实时对话模型；
• GLM-4-Voice（智谱/清华，2024.10，arXiv<2412>.02612）：端到端情感语音对话，9B，12.5 Hz/175 bps 超低码率 tokenizer；
• Step-Audio（阶跃星辰，2024.12，arXiv<2502>.11946）：130B 端到端语音交互（情感/方言/唱 RAP），2025.02 开源；GPT-4o-mini-Realtime（2024.12.17 预览）把实时语音 API 成本打下来；
• Qwen2-Audio（阿里，2024.07，arXiv<2407>.10759）：音频理解 + 语音对话统一。

2. 零样本 TTS 成熟年#

• VALL-E 2（微软，2024.06，arXiv<2406>.05370）：重复感知采样 + 分组编码，LibriSpeech WER 1.6%，与真人转写（1.6%）持平，Ref Utterance 下 1.5% 低于真人，首次宣称零样本 TTS”人类平价”；
• Seed-TTS（字节，2024.06，arXiv<2406>.02430）：大规模 AR 家族，自然度/相似度匹配真人、情绪可控，含 DiT 变体；
• CosyVoice（阿里，2024.07，arXiv<2407>.05407）：LLM + 流匹配，约 300M（论文表 10 命名口径）中英零样本，FunAudioLLM 开源；
• ChatTTS（2noise，2024.05）：对话场景中文 TTS，10 万+ 小时数据，气口/笑声自然，B 站爆款；
• F5-TTS（上交，2024.10，arXiv<2410>.06885）：DiT 流匹配、免文本-语音对齐，RTF 0.15，10 万小时数据；
• Fish Speech（fishaudio，2024.10）：开源多语，V1.5 英 WER 3.5%、TTS Arena ELO 1339；
• Seed-VC（腾讯，2024.11，arXiv<2411>.09943）：扩散 Transformer 零样本变声，唱歌 CER 19.7% 优于 RVCv2 的 28.5%。

3. AI 音乐产品化：Suno 与 Udio 的版本战争#

• Suno v3.5（2024.05.30）：首个 4 分钟生成，歌曲结构（verse-chorus-bridge）显著改善；同期完成 1.25 亿美元 B 轮（估值约 5 亿）；
• RIAA 起诉（2024.06.24）：代表索尼/环球/华纳起诉 Suno（662 首）与 Udio（1670 首） 侵权训练，单曲最高索赔 15 万美元——AI 音乐的版权战争正式开打；
• Stable Audio Open（2024.06，arXiv<2407>.14358）：开源 1B 扩散模型，44.1 kHz/47 秒，仅用 48.6 万条 CC 许可数据，可本地微调；
• Udio v1.5（2024.07.23）：48 kHz、分轨导出、调性控制；
• Suno v4（2024.11.19）：Remaster（重制）/Cover（翻唱）/Persona（固定声线）/ReMi（歌词助手），从”生成器”走向”制作工具”。

4. 编解码器再进化#

• WavTokenizer（浙大/阿里/Meta，2024.08，arXiv<2408>.16532）：单量化器 40/75 token/s，极致压缩 + 语义增强（ICLR 2025）；
• Mimi（Kyutai，2024.09，随 Moshi）：流式编解码器，24 kHz → 12.5 Hz token @1.1 kbps、帧长 80 ms（端到端延迟 160–200 ms 见 Moshi），首级蒸馏 WavLM 语义——实时对话的低延迟基石。

1. AI 音乐：从产品到产业链#

• YuE（港科大 + M-A-P，2025.03，arXiv<2503>.08638）：LLaMA2 基础、万亿 token 训练，5 分钟”歌词→歌”，Apache 2.0——开源音乐生成第一个严肃的”Suno 对手”；
• Suno v4.5（2025.05.01）：8 分钟歌曲、1200+ 流派、非破坏编辑（Replace/Extend/Remaster/Covers）；v4.5+（2025.07）加入 Add Vocals/Add Instrumentals 分轨操作；
• ACE-Step / 音跃（阶跃星辰 + ACE Studio，2025.05.07 联合开源，arXiv<2506>.00045）：3.5B，扩散 + Sana DCAE + 线性 Transformer，A100 上 20 秒生成 4 分钟音乐（比 LLM 基线快 15×），支持 19 语种、最快 15 秒成曲；ACE-Step 1.5（2026.02，arXiv<2602>.00744） 进一步做到 <2 秒/首（A100）、<10 秒（RTX 3090）、<4 GB VRAM，LM 规划器 + DiT；
• Suno v5（2025.09.23）：“complete re-architecture”，44.1 kHz、12 分轨、320 kbps、快 10 倍（内部代号 chirp-crow），9.25 发布 DAW 级 Suno Studio；
• Suno C 轮（2025.11）：2.5 亿美元 @24.5 亿估值（Menlo Ventures 领投），并与华纳音乐和解签授权协议——首个主流厂牌合作；
• Eleven Music（ElevenLabs，2025 夏）：授权训练、商业可用，年末上线 Music Marketplace 让创作者从 AI 曲目获利；
• Suno v5.5（2026.03.26）：声音克隆/自定义模型；平台约 1 亿注册用户、200 万付费、ARR 3 亿美元（2026.02 口径），“日生成约 700 万首”为 2025.11 融资材料披露（Billboard 报道）。

2. 语音大模型：从 TTS 到”音频 AGI”#

• CosyVoice 2（阿里，2024.12，arXiv<2412>.10117）：FSQ 量化 + chunk-aware 因果流匹配，流式/非流式统一，MOS 5.53（自评）、首包约 150 ms（官方 GitHub 口径；论文未给出具体数值）；
• CosyVoice 3（阿里，2025.05，arXiv<2505>.17589）：0.5B→1.5B、数据 1 万→100 万小时、9 语种 + 18 方言，监督多任务语音分词器 + 可微奖励模型 RL 后训练；
• Spark-TTS（科大讯飞，2025.03，arXiv<2503>.01710）：BiCodec 解耦 + Qwen2.5-0.5B，中文 CER 1.20，VoxBox 10 万小时；
• Orpheus（Canopy，2025.03）：Llama 语音 LLM 3B、情感标签、流式约 200 ms；
• MiniMax Speech：02（2025.04）→ 2.5（2025.08，40+ 语种）→ 2.6（2025.10，<250 ms）→ 2.8（2026.01）；
• Kimi-Audio（月之暗面，2025.04，arXiv<2504>.18425）：开源音频基础模型，1300 万小时预训练、12.5 Hz tokenizer、流匹配 chunk 式 detokenizer，ASR/理解/问答/对话多项 SOTA；
• Qwen3-Omni（阿里，模型 2025.05 开源 / 技术报告 2025.09，arXiv<2509>.17765）：Thinker-Talker MoE 30B-A3B，冷启动首包 234 ms，36 个音频/音视频基准中 32 项开源 SOTA、119 语种文本/19 语种语音理解/10 语种语音生成，且四模态无退化——当前开源音频多模态的天花板；
• GPT-5（OpenAI，2025.08.07）：多模态旗舰（发布初期 API 不含音频，语音模式随后上线）；Step-Audio 2（阶跃，2025.07，arXiv<2507>.16632）支持语音对话与合成（论文未涉歌唱任务）；
• Fish Speech S2（2026.03）：DualAR（4B+0.4B）双自回归，千万小时/80+ 语种，Seed-Eval 中文 WER 0.54%/英文 0.99%。

3. 实时语音产品与平台#

• GPT-4o Realtime API / gpt-realtime-1.5（2026.02.23）：生产级语音代理；GPT-Live（2026.07） 新一代语音；
• Gemini 2.5 Flash Native Audio + Gemini TTS（2025.12）：风格/情感控制；Lyria 3（2026.02.18） 进入 Gemini，支持 30 秒图/视频导音乐；
• Qwen3-TTS（阿里，API 2025.12 / HF 开源 2026.01，arXiv<2601>.15621）：流式 TTS 开源；gpt-4o-mini-tts / gpt-audio-mini（2025.12.22），WER 下降约 35%；
• ElevenLabs v3（2025.06 发布 / 2026.02 GA）：“最富表现力” TTS，70+ 语种，Flash 延迟 75 ms（官方口径）；Scribe v2（2026.01.09） 90+ 语种转录。

4. 商业与生态格局#

• ElevenLabs：2022 年创立 → 2023.01 公测 → 2024.01 B 轮 8000 万 @11 亿（独角兽）→ 2025.01 C 轮 1.8 亿 @33 亿 → 2025.09 NVIDIA 战略投资 → 2026.02.04 D 轮 5 亿美元 @110 亿估值（红杉领投，累计融资 7.81 亿美元，2025 年底 ARR 3.3 亿美元）——语音 AI 商业化标杆；
• Suno：2022 年创立（Kensho 系）→ 2023.12 上线 → B 轮 1.25 亿 → C 轮 2.5 亿 @24.5 亿 → 2026 年探索 D 轮（估值超 50 亿美元 ⚠️）；
• 版权博弈：RIAA 诉讼后，Suno 与华纳和解授权（2025.11），Udio 与环球/华纳和解并共建授权平台（⚠️）；截至 2026 年中环球、索尼对 Suno 的诉讼仍在进行（⚠️）；
• HuggingFace 开源生态：XTTS-v2（930 万下载，2024 第一）→ Kokoro-82M（2024.12.25，82M 参数、训练成本约 1000 美元、登 TTS Arena 榜首，2026.8 累计下载约 1200 万、居 HF 开源 TTS 下载第一）→ Chatterbox（2025.05，MIT）→ Qwen3-TTS——开源把 TTS 入场成本打到近乎为零。

主线一：语音合成——从波形到”语音 AGI”#

WaveNet（波形自回归）→ 声码器提速（Parallel WaveNet/WaveGlow/MelGAN/HiFi-GAN）→ 非自回归（FastSpeech/2）→ 端到端（Tacotron 2/VITS/NaturalSpeech）→ 零样本大模型（VALL-E/Voicebox/Seed-TTS/NaturalSpeech 3）→ 多模态语音 LLM（CosyVoice 3/Spark-TTS/Orpheus/Fish S2/Qwen3-Omni）

• 波形级 → token 级：SoundStream/EnCodec 让 TTS 复用 LLM 范式（VALL-E 是标志）
• 双路线并行：自回归（保韵律多样）vs 扩散/流匹配（快、稳），混合系统（LLM 粗建模 + 扩散精渲染）成为工业主流
• 中文开源生态成为全球第二引擎：GPT-SoVITS、ChatTTS、CosyVoice、F5-TTS、Spark-TTS

主线二：音乐生成——从符号到产品#

MuseNet（符号 MIDI）→ Jukebox（原始音频 AR，5B）→ MusicLM/MusicGen（编解码 token LM）→ AudioLDM/Stable Audio/Audiobox（扩散/流匹配）→ Suno/Udio（产品化、版本季度级迭代）→ ACE-Step/YuE（开源基础模型）→ Lyria RealTime（实时交互）

• 速度与质量的权衡是核心矛盾：Jukebox 9 小时/分钟 → ACE-Step 20 秒/4 分钟
• 评测从无到有：MusicCaps（5.5k）成为事实标准，FAD 为量化指标
• 版权从”灰色”到”授权”：RIAA 诉讼 → 华纳/环球/UMG 和解授权

主线三：语音多模态——从 ASR 到原生实时对话#

Whisper/AudioLM（理解与 token 化奠基）→ SpeechGPT/AudioPaLM/SALMONN/Qwen-Audio（语音进 LLM）→ GPT-4o/Moshi/Mini-Omni（端到端实时，级联管线死亡）→ Qwen3-Omni/Kimi-Audio/GPT-5/Gemini Live（原生多模态、全双工、情感可控）

• 延迟从秒级（2.8–5.4 s 级联）降到百毫秒级（232 ms/160 ms/150 ms）
• 架构收敛：ASR+LLM+TTS 流水线 → 单模型端到端；说话人/情感/方言成为一等公民

主线四（暗线）：基础设施、评测与资本#

SoundStream（2021）→ EnCodec（2022）→ DAC（2023）→ WavTokenizer/Mimi（2024）——音频的”分词器”；FAD/MusicCaps/MUSHRA/WER/UTMOS/TTS-Arena——可量化的迭代反馈；ElevenLabs $11B、Suno $2.45B、RIAA 诉讼——商业化与合规的双轮