言语化采样（Verbalized Sampling）

Verbalized Sampling

像 RLHF 这样的训练后对齐（post-training alignment）方法，目的是让 LLM 变得既有帮助又安全。

然而，这些方法在无意中导致了输出多样性的大幅下降，这种现象被称为「模式坍缩」（mode collapse）。

当一个 LLM 坍缩到某个模式时，它会开始偏爱一小撮可预测的、模板化的回答，而不是给出其他各种可能的输出。

根据一篇论文的说法，模式坍缩之所以发生，是因为用于训练 LLM 的人类偏好数据中，隐藏着一个叫做「典型性偏差」（typicality bias）的缺陷。

具体是这样发生的：

标注人员会被要求对 LLM 给出的不同回答进行评分，随后，一个奖励模型会学习模仿这些人类偏好，再用它来训练 LLM。

然而人们观察到，标注人员天然倾向于偏爱那些更熟悉、更易读、也更可预测的答案，这就是典型性偏差。所以即便一个新颖、有创意的答案和一个常见答案同样出色（甚至同样正确），人类的偏好也往往会倒向那个更常见的答案。

正因如此，奖励模型会进一步放大那些原始（未对齐）模型本来就认为可能性较高的回答。

这会让 LLM 的概率分布变得极度尖锐，使模型的创造性输出坍缩为一两个占主导地位、高度可预测的回答。

不过，这种效应并非不可逆——对齐之后的 LLM，其实依然拥有两种「人格」：

一种是原始模型，它在预训练阶段学到了极其丰富的可能性；

另一种是对齐之后、专注于安全性的模型（如前所述，由于典型性偏差，它在无意中被压制成了强烈偏爱最可预测答案的样子）。

言语化采样（Verbalized Sampling，VS）正是用来解决这个问题的。

这是一种无需重新训练的提示词策略，目的是绕开模式坍缩，重新找回模型在预训练阶段学到的那种多样化分布。

言语化采样的核心思路是：提示词本身就像是一个「心智开关」。

当你直接提示「给我讲个笑话」时，那个经过对齐的「人格」会立刻接管，输出那个被强化次数最多的答案。

但在言语化采样中，你会这样提示它：「生成 5 个回答，并给出各自对应的概率。给我讲个笑话。」

在这种情况下，提示词要求的不再是一个具体实例，而是一整个分布。

这会促使对齐后的模型调动起它的全部知识，被迫去调用它在预训练阶段学到的那个多样化分布。

所以本质上，通过要求 LLM 把概率分布「言语化」表达出来，模型得以触及一个更广阔、更多样的想法集合——而这一切，都源于其预训练权重内部依然保留着的那个丰富分布。

在多种任务上的实验都证明了这种方法的显著收益：

相比直接提示，言语化采样能将多样性显著提升 1.6 到 2.1 倍，同时保持甚至提升输出质量。像言语化

采样式 CoT（思维链）和言语化采样式 Multi 这样的变体，还能进一步提升生成的多样性。

像 GPT-4.1 和 Gemini-2.5-Pro 这类更大、能力更强的模型，从言语化采样中获益更多，其多样性提升幅度最高可以达到小模型的 2 倍。

在 SFT、DPO、RLVR 这些训练后阶段，言语化采样能更好地保留多样性——它能恢复基础模型原始多样性的约 66.8%，而直接提示的保留率则要低得多。

言语化采样带来的收益与其他方法相互独立，这意味着它可以和温度缩放、top-p 采样等技巧结合使用，在「多样性与质量」的权衡上取得进一步的改善。