是什么让 LLM 变得「大」？

What makes an LLM ‘large’ ?

当我们把一个语言模型称为「大」的时候，我们指的是它的规模：

• 模型所包含的参数数量
• 训练所用的数据量
• 训练所消耗的计算量

参数是模型在训练过程中不断调整的内部数值。每一个参数，都承载着模型所学到的规律中的一小部分。早期的语言模型规模要小得多，只能捕捉文本表层的模式。

它们可以模仿文风，但在需要推理、抽象或泛化的任务上却常常力不从心。

随着研究者不断增大模型规模、丰富数据集多样性、提升训练算力，一个明显的转折出现了。

更大的模型开始能够遵循详细的指令、完成多步推理，并解决那些在训练中从未直接遇到过的问题。这并不是靠添加新规则或专门编程特定行为得来的。它是模型在获得足够容量、得以学习语言中更深层次关系之后，自然涌现出的能力。这种效应表现得相当一致：参数更多、训练数据更广泛的模型，会产生更可靠、更连贯、适应性更强的输出。从实际效果来看，「大语言模型」中的「大」字，正是这些能力得以实现的关键所在。