大语言模型架构全景图：从 Transformer 到现代 LLM 的演进与深度解析

引言：理解 LLM 架构的核心演进

在当前生成式 AI 飞速发展的时代，大语言模型（Large Language Models, LLMs）的架构设计已成为决定模型性能、效率和应用场景的关键因素。著名 AI 研究员 Sebastian Raschka 最近整理的“LLM Architecture Gallery”为我们提供了一个极佳的视角，去审视从最初的 Transformer 到如今百花齐放的架构演进。本文将深入探讨主流 LLM 的架构分支、关键技术创新以及未来的技术趋势。

一、三大主流架构分支：Encoder 与 Decoder 的博弈

虽然所有现代 LLM 都起源于 2017 年的 Transformer 论文，但根据处理任务的不同，架构演化出了三个主要方向：

• Encoder-only (编码器架构): 以 BERT 为代表。这类模型擅长理解上下文语义，常用于文本分类、命名实体识别（NER）等自然语言理解任务。其核心在于双向自注意力机制（Bidirectional Self-Attention）。
• Decoder-only (解码器架构): 以 GPT 系列、Llama 和 Mistral 为代表。这是当前 LLM 的主流，采用单向（Causal）自注意力机制，专为自回归生成任务设计，通过预测下一个词（Next-Token Prediction）来实现强大的生成能力。
• Encoder-Decoder (编码器-解码器架构): 以 T5 和 BART 为代表。这类模型保留了原始 Transformer 的完整结构，特别适合序列到序列（Seq2Seq）的任务，如机器翻译和摘要生成。

二、核心组件的技术演进：细节决定成败

现代模型如 Llama 3 或 Mixtral 并不只是单纯的 Transformer，它们在许多微观架构上进行了重要的改进，以提升推理效率和训练稳定性：

• 归一化层 (Normalization): 大多数现代 LLM 已从 LayerNorm 转向 RMSNorm (Root Mean Square Layer Normalization)，因为它在保持性能的同时计算开销更小。
• 位置编码 (Positional Embeddings): 传统的绝对位置编码逐渐被 RoPE (Rotary Positional Embeddings) 或 ALiBi 取代。RoPE 特别受到青睐，因为它能更好地处理长文本序列并保持相对位置关系。
• 激活函数 (Activation Functions): ReLU 已经成为过去，SwiGLU 成为 Llama 等高性能模型的核心选择，它通过更复杂的门控机制提升了非线性表达能力。
• 注意力机制优化: 为了应对超长上下文，Multi-Query Attention (MQA) 和 Grouped-Query Attention (GQA) 逐渐取代了标准的 Multi-head Attention，大幅降低了推理时的 KV Cache 显存占用。

三、前沿趋势：MoE 与 状态空间模型 (SSM)

随着模型规模的进一步扩大，计算效率成为了瓶颈，这促使了以下两种架构的兴起：

• Mixture of Experts (MoE): 如 Mixtral 8x7B。通过引入专家路由机制，模型在推理时仅激活部分参数（Sparse Activation），从而在拥有超大规模参数量的同时，保持较低的推理成本。
• State Space Models (SSM): 以 Mamba 为代表。这类模型试图打破 Transformer 的 $O(n^2)$ 复杂度瓶颈，在处理无限长序列时展现出线性增长的计算优势，是未来极具竞争力的架构方向。

四、总结：如何选择合适的架构？

对于开发者和研究者而言，理解这些架构差异至关重要。如果您追求极致的生成质量和生态支持，基于 Llama 结构的 Decoder-only 模型是首选；如果您需要处理极长文档或在边缘设备部署，则应关注 Mamba 或优化过的 GQA 模型。Sebastian Raschka 的架构图谱提醒我们，LLM 的底层设计正变得越来越模块化和精细化。