论文信息#

• 标题：LLaMA: Open and Efficient Foundation Language Models
• 作者：Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière 等（Meta AI，14 人团队）
• 发表年份：2023 年 2 月
• 会议/期刊来源：arXiv 预印本（arXiv: 2302.13971）
• 引用量级：数万次（开源大模型浪潮的引爆点，2023 年被引最多的论文之一）

一、研究背景与核心问题#

2023 年初的格局：最强的模型（GPT-3、PaLM、Chinchilla）要么闭源、要么依赖非公开数据，学术社区无法研究其机制、偏见与失败模式。同时，主流缩放定律（Chinchilla）优化的是”训练效率”，推荐”参数与训练 token 比例约 1<20>”，却忽视了推理成本——部署端每增加一个参数，就要为每一次线上请求买单。论文要解决两个问题：

1. 只用公开数据，能否训练出 SOTA 模型？
2. 能否用”更小 + 训练更久”的模型，在保持性能的同时大幅降低推理成本，让研究社区用得起？

二、核心方法与架构创新#

1. 反 Chinchilla 的”过度训练”策略：有意让模型吃掉远超 Chinchilla 最优比例的 token（7B/13B 训练 1 万亿 token，33B/65B 训练 1.4 万亿 token）。训练效率上”不划算”，但推理成本按参数线性下降，对大规模线上服务总成本更优。论文 7B 模型的训练算力约为 Chinchilla 建议的 7 倍，而单次推理成本仅为 65B 的约 4%。
2. 100% 公开数据：CommonCrawl、C4、GitHub、维基百科、Books、ArXiv、StackExchange 等，全部可获取，保证可复现性。
3. 架构集大成（吸收各家最优组件）：
   • RMSNorm 预归一化（替代 LayerNorm，训练更稳、更快）；
   • SwiGLU 激活（来自 PaLM 系，替代 ReLU 提升质量）；
   • 旋转位置编码 RoPE（来自 GPT-Neo 系，比绝对位置编码外推性更好）；
   • 因果多头自注意力（复用 xFormers 的高效实现）。
4. 四种规模：7B / 13B / 33B / 65B，全部开源（初始为非商用许可，后放宽）。

三、关键公式与模块设计原理#

四、实验设置与主要结果#

• 评测：常识推理（BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC）、闭卷问答（NaturalQuestions、TriviaQA）、阅读理解（RACE）、数学推理（MATH、GSM8K）、代码生成（HumanEval、MBPP）等约 20 个基准。
• 核心结论（论文摘要）：
  • LLaMA-13B 在大多数基准上优于 GPT-3（1750 亿）——参数少 10 倍以上；
  • LLaMA-65B 与最优模型 Chinchilla-70B、PaLM-540B 相当；
  • LLaMA-65B 在 NaturalQuestions 与 TriviaQA 上取得零样本/少样本 SOTA，超越 GPT-3 与 Chinchilla。
• 对比意义：用 1/10 到 1/30 的推理成本逼近乃至超过闭源巨头，证明”规模不是唯一变量，数据质量与训练时长同样关键”。

五、局限性与后续影响#

局限性：

• 仍存在幻觉、偏见、毒性（论文附有毒性与偏见基准评测，坦承不足）；
• 初始许可仅限研究用途，商用受限（后续 Llama 2/3 放宽）；
• 英文/拉丁语系为主，多语言覆盖有限；
• 65B 推理仍需多卡，个人设备可用性有限（7B/13B 单卡可跑）。

后续影响：LLaMA 直接引爆开源大模型生态——Alpaca、Vicuna 等低成本微调复刻 ChatGPT 能力；Llama 2（2023.7，开源商用）、Llama 3（2024，8B/70B/405B）延续路线；Mistral、Qwen、DeepSeek 等均受其”公开数据 + 过度训练 + RoPE + SwiGLU + RMSNorm”配方启发。论文提出的”部署感知缩放（deployment-aware scaling）“思想成为整个开源时代的默认假设。