基本规格#

ChatGLM-6B 在2023年3月14日开源，核心参数：

• 参数量：6.2B
• 层数：28层
• 隐藏层维度：4,096
• 注意力头数：32（头维度 128）
• FFN 中间维度：16,384
• 词表大小：130,528
• 位置编码：绝对位置嵌入
• 归一化：LayerNorm
• 激活函数：GELU
• 训练数据：~1T tokens（中英双语）
• 上下文长度：2,048 tokens

为什么是6B？#

因为这是消费级显卡的甜区。FP16 需要约 14.6GB 显存，INT4 量化后只需要 6GB。这意味着一张 RTX 3060 就能跑起来，甚至 MacBook 也能勉强推理。

智谱的策略很明确：不追求最强，追求最普及。事实证明这个策略极其成功——ChatGLM-6B 迅速成为国内部署量最大的开源对话模型。

对齐方式#

ChatGLM-6B 的对齐比较简单，主要是 SFT（Supervised Fine-Tuning，监督微调），配合少量 RLHF。数据以中英双语对话为主。

局限性也很明显：2K 上下文太短，稍微长点的对话就丢了前文；推理能力弱；多轮对话容易跑偏。但作为第一代产品，这些都可以接受。

三大架构升级#

第一，MQA（Multi-Query Attention，多查询注意力）。

原版 ChatGLM 用的是标准 MHA——32个 Query 头配32个 Key/Value 头。ChatGLM2 改成 32个 Query 头共享 1个 Key/Value 头。

这意味着什么？推理时 KV Cache 的显存占用直接降到 1/32。对于长序列推理来说，这是质的飞跃。实测推理速度提升 42%。

第二，FlashAttention。

用 FlashAttention 替换了标准注意力实现，减少显存读写次数，训练和推理都更快。

第三，纯 RoPE 位置编码。

从 ChatGLM 的绝对位置嵌入切换到 RoPE（Rotary Position Embedding，旋转位置编码）。RoPE 的好处是天然支持长度外推——训练时只见过短序列，推理时可以扩展到更长。

训练数据和效果#

• 训练数据：1.4T tokens（比第一代的1T多了40%）
• 上下文长度：从 2K 扩展到 32K
• MMLU 提升 +23%
• GSM8K 提升 +571%（数学推理质的飞跃）
• BBH 提升 +60%

GSM8K 提升 571% 这个数字太夸张了。从”基本不会做数学题”到”能做小学数学题”，这就是架构升级+数据扩充的威力。

为什么这次升级这么成功？#

我的理解是：ChatGLM2 的核心思路是”用更高效的架构吃更多数据”。MQA 让推理更高效，RoPE 让上下文更长，FlashAttention 让训练更快——三者叠加，同样的参数量能干更多事。

架构微调#

• 归一化：从 LayerNorm 换成 RMSNorm（更稳定、更快）
• 词表：扩展到 65K（更好地覆盖多语言和代码token）
• 其他架构基本沿用 ChatGLM2

核心能力：Function Call + Code Interpreter + Agent#

这是 ChatGLM3 最大的突破。它原生支持：

1. Function Call（函数调用）：模型能识别什么时候该调用外部工具，生成结构化的调用请求。
2. Code Interpreter（代码解释器）：模型可以写代码、执行代码、根据执行结果继续推理。
3. Agent 任务：多步规划、工具组合使用。

这三件事的组合意味着 ChatGLM3 不再只是一个”问答机器”，而是一个能实际执行任务的智能体。它发布时在 42 个基准上领先同量级模型，覆盖语义理解、数学、推理、代码和知识。

对齐进化#

ChatGLM3 的对齐策略明显更成熟了。不再只做简单的 SFT，而是引入了更精细的 RLHF 流程，包括奖励模型训练和 PPO 优化。

训练规模#

• 预训练数据：~10T tokens（万亿级别）
• 语言覆盖：以中英文为主，辅以 24种其他语言
• 数据处理流程：去重、过滤、分词、书籍/维基百科重加权

架构大改#

GLM-4 的架构跟 ChatGLM3 相比有显著变化：

• 归一化：RMSNorm
• 激活函数：SwiGLU（替代GELU）
• 位置编码：2D RoPE
• 注意力：从 MHA/MQA 换成 GQA（Grouped-Query Attention）
• FFN 大小：隐藏层维度的 10/3 倍
• 去掉了除 QKV 以外的所有 bias
• 词表：150,000（byte-level BPE + tiktoken cl100k_base 合并）

这些改动基本对齐了 LLaMA 系列的最佳实践。说明智谱在架构设计上已经跟上了全球最新趋势。

上下文和工具#

• 上下文长度：128K
• All Tools 模式：模型可以自主选择并使用以下工具：
  • Web 浏览器
  • Python 解释器
  • 文生图模型
  • 用户自定义函数
  • 外部知识库

这个 All Tools 设计非常前瞻。模型不是被动地等用户指定工具，而是自己判断什么时候需要什么工具。这是 Agent 能力的终极形态。

性能对标#

GLM-4 在以下基准上与 GPT-4 0613 和 Gemini 1.5 Pro 相当：

• MMLU：83.3（GPT-4 约 86.4）
• GSM8K、MATH、BBH、GPQA、HumanEval：接近或持平
• IFEval（指令遵循）：接近 GPT-4-Turbo
• LongBench-Chat（长上下文）：87.3 vs GPT-4-Turbo 87.2 vs Claude 3 87.7
• AlignBench（中文对齐）：优于 GPT-4

在中文对齐这个维度上超过 GPT-4，这是 GLM-4 最亮眼的成就。毕竟中文场景的对齐，中国团队天然有优势。