基本规格#

• 总参数：~745B（比 GLM-4.5 的 355B 翻倍还多）
• 激活参数：~44B（只比 32B 多了 12B）
• 上下文：200K
• 协议：MIT
• 预训练语料：27T+ tokens（比 GLM-4.5 的 23T 又多了 4T+）
• 优化器：Muon Split（从 GLM-4.5 的 Muon 进化）

参数翻倍但激活只多了三分之一——这说明 GLM-5 把”深而不宽”的路线走得更极端了。更多专家、更精细的路由、更少的激活开销。

DSA（Dynamic Sparse Attention，动态稀疏注意力）#

这是 GLM-5 架构上最重要的创新，也是它能把上下文拉到 200K 的关键。

先说问题。传统注意力机制是”全连接”的——每个新 token 都要回头看前面所有 token，计算量是序列长度的平方（O(L²)）。当上下文从 4K 拉到 128K，计算量涨了 1000 倍；再拉到 200K，就是 2500 倍。这不是”加几张卡”能解决的问题，是根本性的计算瓶颈。

打个比方：传统注意力像是”每说一句话都要把整本百科全书从头翻到尾”。DSA 的思路是：“你不需要翻整本书，只需要翻最相关的那几页。”

原理：对每个当前 token，不是跟前面所有 token 做注意力（那是 O(L²) 的），而是只挑选最相关的 top-K 个先前 token做注意力。复杂度从 O(L²) 降到 O(LK)，K 远小于 L。比如上下文 200K token，但每个 token 只看最相关的 2048 个——计算量直接降了两个数量级。

关键是”动态”二字：不是固定看某个窗口（比如只看最近 4096 个 token），而是根据内容相关性动态选择。写代码时可能需要看 5000 行前的函数定义，写文章时可能需要看开头的论点——DSA 能自动判断该看哪里。

具体实现分两步：

1. 训练初期用稠密注意力（类似 MLA 的变体）把基础能力打好
2. 逐步过渡到稀疏注意力——不是一刀切，是渐进式地让模型适应稀疏模式

这个”先稠后稀”的训练策略很聪明。如果一开始就稀疏，模型连基本的注意力分布都学不好——它还不知道什么信息重要，你让它”只看几个 token”，它可能刚好漏掉关键信息。等稠密阶段把能力底座打牢了，再切稀疏，模型已经知道”哪些 token 重要”，稀疏化就不会掉性能。

论文验证了等性能（parity）：换成稀疏注意力后，标准 benchmark 成绩基本不掉，长上下文场景反而因为计算更高效可以跑更长的序列。

上下文扩展：从 4K 到 200K#

跟 GLM-4.5 一样是渐进式扩展，但目标从 128K 提升到了 200K。不是一步插值到位，而是分多个阶段逐步提升 RoPE 基频并加入长序列数据。

中期训练：Agent 数据的比重大幅增加#

中期训练（mid-training）加入了大量 Agent 导向的数据：

• 长多步工具调用轨迹：文件浏览、代码搜索、测试运行
• 仓库级数据：跨文件链接、commit 历史、issue 修复
• 长技术文档和多轮对话

这些不是传统的”问答对”，而是完整的 Agent 工作流记录。模型在预训练阶段就开始学习”怎么当一个 Agent”。

异步 Agent 强化学习#

GLM-5 的 Agent RL 跟 GLM-4.5 最大的区别是：完全异步。

传统 RL 是同步的——模型生成轨迹、等环境反馈、更新策略，串行执行。问题是 Agent 任务动辄需要几十步工具调用，每步都有环境延迟，同步训练慢得离谱。

GLM-5 的做法：推理 worker 和训练 worker 完全解耦。推理 worker 可以用稍旧一点的策略版本生成轨迹（通过重要性采样修正偏差），训练 worker 持续从轨迹池里取数据更新。两边不等对方，各自跑。

这个设计让 Agent RL 的训练吞吐量大幅提升。

三阶段后训练#

跟 GLM-4.5 类似但更深入：

阶段一：推理 RL

• 数学竞赛（AIME、MATH）和竞赛编程（Codeforces）
• 难度课程学习

阶段二：Agent RL

• 软件工程环境：SWE-bench 和内部 CC-Bench-V2
• 课程从”单文件小修”到”多文件 SWE-bench 级任务”
• 奖励设计：
  • 最终正确性：隐藏测试通过与否
  • 过程质量：过程奖励模型（PRM）或规则
  • 容错恢复奖励：模型遇到错误后能合理恢复给小分
• 动作空间包含”思考 token”——工具调用前先推理
• 用熵奖励保持探索性

阶段三：通用 RL

• 指令遵循、安全、对话

跨阶段蒸馏：防遗忘#

三阶段训练有个经典问题：后面的阶段会覆盖前面的能力（灾难性遗忘）。

GLM-5 的解法：跨阶段蒸馏（Cross-stage Distillation）。具体做法：

• 进入新阶段时，用上一阶段的模型生成”锚点数据”
• 把锚点数据混进新阶段的训练数据里
• 损失函数加 KL 正则化，或者对冻结的教师快照做蒸馏

同样的方法在”Agent RL → 通用 RL”的过渡中重复使用。

“Try-then-Recover”：不怕犯错，怕的是放弃#

Agent RL 的一个核心设计哲学：奖励”尝试后恢复”而不是”永不犯错”。

模型调工具失败了，如果能合理分析错误、调整策略、重试成功，照样拿分。这比”一步到位”的奖励设计更贴近真实 Agent 场景——现实中工具调用失败是常态，关键是能不能从失败中恢复。

规格#

• 总参数：753B
• 激活参数：40B
• 上下文：1M token（从 200K 直接拉到百万）
• 最大单次生成：12.8 万 token
• 协议：MIT
• 架构创新：IndexShare——4 层稀疏注意力共享一个轻量级索引器，单 token 计算量降 2.9 倍，推测解码接受率提升 20%

核心成绩#

FrontierSWE 74.4% 超越 GPT-5.5 的 72.6%——这是开源模型第一次在顶级软件工程基准上正面击败闭源旗舰。

这个”第一次”的重量需要强调一下。FrontierSWE 不是那种”给个函数写个实现”的简单编程题，它是真实世界的复杂软件工程任务——大型代码仓库、多文件修改、需要理解项目架构、跑测试、处理边界情况。在这上面超越 GPT-5.5，意味着开源模型在”最接近真实软件开发”的场景里已经不比闭源差了。

而且注意，Claude Opus 4.8 是 75.1%，GLM-5.2 是 74.4%——差距只有 0.7 个百分点。考虑到 GLM-5.2 是开源的、可以本地部署的、可以免费微调的，这个 0.7% 的差距在实际应用中完全可以忽略。

成本：六分之一#

API 定价：输入 $1.4/百万 token，输出 $4.4/百万 token。

对比：

• GPT-5.5：约 $8/$24
• Claude Opus 4.8：约 $10/$30

GLM-5.2 的成本是闭源旗舰的 1/4 到 1/6。性能更强，价格更低，还开源。这个组合拳太狠了。

生态支持#

支持 transformers、vLLM、SGLang、xLLM、ktransformers、Ollama 等主流框架。集成 Claude Code、OpenCode、Cline、ZCode 等 Agent 工具。

推理努力等级分 High 和 Max 两档——简单任务用 High 省算力，极难任务用 Max 全力输出。