LLM 是如何搭建出来的？

How are LLMs built?

在一个 LLM 能被训练之前，它需要一套能够处理文本、学习规律、并可在大规模数据集上扩展的架构。这套架构由若干核心组件构成，它们协同工作，把原始文本转化为模型可以学习的结构化表示。

Transformer

现代 LLM 的核心是 Transformer。Transformer 的设计思路是一次性看到输入中的所有 token，并识别出文本中哪些部分彼此最相关。这让模型得以跟踪长句中的指代关系，理解那些在序列中相隔很远的元素之间的联系。

分词（Tokenization）

文本首先会被切分成 token。根据一个词的常见程度，一个 token 可能是完整的一个词，也可能只是词的一部分。

这种方式能让词表规模保持可控，同时也能让模型处理任意语言的输入。接下来，这些 token 会被映射成数值表示，以便模型能够对它们进行处理。

Transformer 层

模型包含许多层层堆叠的 Transformer 层。

每一层都会通过比较各个 token、关注输入中重要的部分、并更新它们的表示，来不断精炼模型对文本的理解。随着序列不断流经这些层，模型会构建出对文本越来越深层次的理解。

位置编码（Positional Encoding）

Transformer 本身并不能天然感知 token 出现的顺序。

为了提供这一信息，位置编码会被添加到 token 的表示中。这些编码赋予了模型「顺序」的概念，使它能够理解句子、列表或代码这类有序结构。

参数

架构内部包含参数——也就是模型在训练过程中不断调整的数值。一个大型 LLM 包含数十亿个这样的参数。它们存储着模型从文本中学到的规律，构成了模型理解和生成语言能力的基础。

分布式训练配置

由于这些模型体量太大，单台机器无法承载，因此它们会在许多 GPU 上并行训练。模型的参数、计算过程和训练数据都会被分布式处理，从而让系统能够处理海量数据集，并高效地更新数十亿个参数。