传统微调方式存在的问题

Issues with traditional fine-tuning

然而，当我们把同样的传统微调技术用在规模大得多的模型上——比如 LLM——问题就出现了。

这是因为，你可能已经知道，这些模型体量巨大——参数量达到数十亿甚至数万亿。

看看 BERT-large 和 GPT-3 之间的体量差距：

用传统微调方式在单张 GPU 上微调 BERT-large 很容易。

但对拥有 1750 亿参数的 GPT-3 来说，这根本不可能。

仅存储模型权重（float16 精度）就需要 350GB 内存。

设想一下，如果 OpenAI 在其微调 API 中使用传统微调方式：

• 如果有 10 个用户微调 GPT-3 → 需要 3500 GB 来存储权重。
• 如果有 1000 个用户微调 GPT-3 → 需要 35 万 GB 来存储权重。
• 如果有 10 万个用户微调 GPT-3 → 需要 3500 万 GB 来存储权重。

而且问题还不止于此：

• OpenAI 完全按使用量计费。
  • 如果有人只是为了学习而微调模型，之后却从未真正用过它，怎么办？
• 由于请求随时可能到来，他们是否应该一直把微调后的模型保留在内存中？毕竟加载 350GB 的数据是件非常繁重的事。

传统微调在这里根本不具备实际可行性，事实上，由于缺乏大规模基础设施，也不是每个人都负担得起这么做。

此外，要维护能够同时支撑成千上万客户微调请求的基础设施，对他们来说也是一项巨大的工程。