5 种 LLM 微调技术

5 LLM Fine-tuning Techniques

传统的微调（如下图所示）对 LLM 不可行，因为这些模型有数十亿参数、体积达数百 GB，并非人人都能使用这样的计算基础设施。

但如今，我们有许多高效的方式来微调 LLM，下面展示了五种流行的技术：

• LoRA：在权重矩阵旁添加两个低秩矩阵 A 和 B，其中包含可训练参数。不再微调 W，而是在这些低秩矩阵中调整更新。

• LoRA-FA：虽然 LoRA 大幅减少了可训练参数总量，但更新低秩权重仍需要相当多的激活值显存。LoRA-FA（FA 代表 Frozen-A）冻结矩阵 A，只更新矩阵 B。

• VeRA：在 LoRA 中，每一层都有不同的一对低秩矩阵 A 和 B，并且两个矩阵都要训练。而在 VeRA 中，矩阵 A 和 B 是冻结的、随机的，并在所有模型层之间共享。VeRA 专注于学习小的、各层专属的缩放向量，记作 b 和 d，它们是此设置中仅有的可训练参数。

• Delta-LoRA：在这里，除了训练低秩矩阵之外，矩阵 W 也会被调整，但不是以传统方式。而是将两个连续训练步中低秩矩阵 A 和 B 乘积之差（即 delta）加到 W 上：

• LoRA+：在 LoRA 中，矩阵 A 和 B 以相同的学习率更新。作者发现，为矩阵 B 设置更高的学习率能带来更优的收敛。