一、从CogVLM到CogVLM2：不只是”加了个2”#

2023年底CogVLM出来的时候，我确实眼前一亮。但用了一段时间后，痛点也很明显：

• 分辨率只有224×224，看个图跟打马赛克似的，细粒度理解基本靠猜
• 不支持视频，2024年了还不能看视频，说不过去
• 基座是Vicuna-7B，中文能力拉胯，问个中文问题经常答非所问
• 上下文窗口短，稍微长点的对话就”失忆”

CogVLM2基本上就是对着这些痛点一个一个锤的。

而且这次不是小修小补。基座语言模型直接从Vicuna换成了Llama-3-8B-Instruct——这可不是换个名字的事，Llama-3的语言能力比Vicuna强了不止一个档次，特别是在指令遵循和多语言支持上。

总参数量从17B涨到19B，涨幅不大，但”含金量”完全不同。

二、架构升级：Visual Expert的”二代目”#

CogVLM2继承了CogVLM的核心设计——视觉专家模块（Visual Expert），但做了显著升级。

回忆一下一代的设计：在Transformer每层的Attention和FFN中，为视觉token插入独立的QKV矩阵和MLP。这个思路没问题，但一代受限于基座模型的能力，Visual Expert的潜力没完全释放。

二代的改进主要体现在：

第一，基座更强，专家更聪明。 Llama-3-8B-Instruct本身的语义理解、推理能力就比Vicuna-7B强很多。Visual Expert插在更强的基座上，等于给”眼科医生”配了更好的诊断设备。同样的视觉特征，在更强的语言上下文中能被理解得更深。

第二，分辨率适配。 一代只能处理224×224的图，视觉token数量有限。二代支持最高1344×1344的输入分辨率，这意味着视觉token数量大幅增加，Visual Expert需要处理更长的视觉序列。这对注意力机制的效率提出了更高要求。

第三，视频扩展。 视频本质上是”多帧图像+时序关系”。CogVLM2的Visual Expert需要同时处理空间维度（每帧内的视觉特征）和时间维度（帧间变化）。这是架构层面的实质性扩展。

三、图像理解：1344×1344，终于能”看清”了#

分辨率从224到1344，提升了6倍。这不是简单的”图变大了”，而是信息量的质变。

224×224的图，你让模型去识别里面的一行小字？做梦。1344×1344，文档里的表格、图表里的标注、街景里的路牌，都能看得清清楚楚。

具体实现上，CogVLM2采用了动态分辨率策略：根据输入图像的原始比例和尺寸，动态决定切分方式和最终输入分辨率。不是所有图都暴力resize到1344×1344，而是保持宽高比，避免形变。

高分辨率带来的直接收益：

• OCR类任务（TextVQA、DocVQA）性能大幅跃升
• 细粒度目标识别和定位更准确
• 图表理解、文档分析等实用场景终于能用了

四、视频理解：24帧看懂1分钟#

CogVLM2-Video版本支持视频理解，规格是：

• 采样帧数：24帧
• 每帧分辨率：224×224
• 支持时长：最长约1分钟

24帧@224×224，总共5376个视觉token（24×224），再加上文本token，对上下文窗口是不小的压力。好在CogVLM2支持8K文本上下文，撑得住。

视频理解的设计思路：把视频均匀采样为24帧，每帧独立过视觉编码器得到视觉token，然后按时间顺序拼接，一起送入带Visual Expert的语言模型。模型需要自己从这些”时间切片”中推断出动态信息。

说实话，24帧看1分钟视频，信息损失不小。但对于”视频里发生了什么""这个人在做什么”这类粗粒度理解任务，够用了。你不能指望它去理解每一帧的微表情变化，那不现实。

五、中文能力：85%准确率，这次是认真的#

CogVLM一代用Vicuna做基座，中文能力约等于没有。你问它中文问题，它要么用英文回你，要么中文里夹一堆英文，体验极差。

CogVLM2换成Llama-3-8B-Instruct后，情况彻底改观。Llama-3本身的多语言能力就比LLaMA-1系强很多，再加上智谱AI在中文数据上做了大量微调工作，最终效果：

中文场景准确率突破85%。

这个数字什么概念？在中文多模态理解任务上，CogVLM2的表现已经可以跟GPT-4V掰手腕了。考虑到GPT-4V是闭源的、按API调用收费的，而CogVLM2完全开源、本地部署、不要钱——这个性价比差距是碾压级的。

六、性能对比：19B vs GPT-4V，不落下风#

CogVLM2在多个主流基准上的表现：

• 在MMBench、MM-Vet、SEED-Bench等综合评测上，成绩接近甚至部分超越GPT-4V
• 在中文多模态评测上，多项指标超过GPT-4V
• 在OCR相关任务上，得益于高分辨率，表现突出
• 视频理解任务上，在开源模型中处于第一梯队

特别值得一提的是部署门槛：16GB显存即可运行推理。这意味着一张消费级RTX 4090（24GB）就能跑，甚至一张RTX 3090都够用。GPT-4V呢？你连模型权重都看不到。

这就是开源的力量。不是说我性能比你强多少，而是我让你用得起。

七、训练细节：站在巨人肩膀上#

CogVLM2的训练流程延续了CogVLM的两阶段思路，但在每个阶段都做了升级：

数据层面：

• 预训练数据规模进一步扩大
• 加入大量高分辨率图文对
• 引入视频-文本配对数据
• 中文数据占比显著提升

训练策略：

• 阶段一：视觉编码器与语言模型的对齐训练，重点适配高分辨率输入
• 阶段二：多任务端到端微调，涵盖图像理解、视频理解、OCR、视觉推理等
• 引入指令微调（Instruction Tuning），提升对话交互能力

工程优化：

• 针对长视觉序列的注意力计算做了效率优化
• 视频多帧处理采用并行编码策略
• 推理时支持动态分辨率，按需分配计算资源

八、生态意义：多模态的”安卓时刻”#

我觉得CogVLM2最大的贡献不是某个具体的技术指标，而是它代表的趋势：

多模态大模型正在从”实验室玩具”变成”生产力工具”。

以前你要做一个图文理解的应用，要么调GPT-4V的API（贵、慢、数据出境），要么自己训一个（没那个资源）。现在CogVLM2告诉你：下载权重、一张4090、跑起来。

这就是”普惠”的含义。不是降低性能门槛，是降低使用门槛。

从CogVLM到CogVLM2，智谱AI用两代产品完成了一个闭环：

• CogVLM：证明Visual Expert架构可行，性能对标顶级闭源模型
• CogVLM2：把性能做到”够用”，把门槛降到”人人可用”

收尾：我的一点看法#

第一，CogVLM2最聪明的决策是换基座。从Vicuna到Llama-3，这不是”升级”，是”换代”。Llama-3的语言理解、指令遵循、多语言能力全方位碾压Vicuna。一个好的基座，能让上层的多模态设计事半功倍。这也给社区一个启示：别在弱基座上死磕多模态架构，先把基座选好。

第二，1344×1344的分辨率在2024年中期是够用的，但放到现在看已经不算激进了。后续的InternVL2、Qwen-VL2等模型已经把分辨率推到了更高水平。不过CogVLM2在当时确实是”分辨率最高的开源多模态模型之一”，这个时间窗口卡得很准。

第三，视频理解这块，24帧@224×224的方案说实话比较”朴素”。没有时序建模模块，没有动态采样策略，就是均匀抽帧然后拼接。能work，但天花板明显。后来的视频理解模型（包括智谱自己的CogVideoX）走了更复杂的路线。CogVLM2的视频能力更像是一个”先有再说”的占位。

第四，“16G显存可部署”这个卖点，我觉得被低估了。在2024年，大量中小企业和独立开发者的主力显卡就是16G-24G档位。CogVLM2精准地卡在了这个甜蜜点上。你不需要A100集群，不需要云服务，一台工作站就能搞多模态AI。这才是真正推动行业普及的力量。

第五，从学术角度看，CogVLM2的论文本身没有提出特别新的架构思想——Visual Expert是一代的，Llama-3是Meta的，高分辨率是大家都在做的。它的价值更多在工程集成和系统优化层面。但我觉得这没什么不好。不是每篇论文都得提出新架构，把已有的好技术组合到极致、做到真正可用，同样是一种重要的贡献。

附：核心数据速查#

关键概念清单#