LLM 生成参数的 7 个关键旋钮

7 LLM Generation Parameters

LLM 的每一次生成，背后都受一系列参数的形塑。了解如何调节这些参数很重要，这样你才能得到更精准、更可控的输出。以下是最重要的 7 个「操控杆」：

1）Max tokens（最大 token 数）

这是对模型单次回复中能生成多少 token 的硬性上限。设得太低 → 输出被截断；设得太高 → 可能造成算力浪费。

2）温度（Temperature）

控制随机性。低温度（接近 0）会让模型的输出趋于确定性；较高的温度（0.7–1.0）会提升创造力和多样性，但也会带来更多噪声。使用建议：问答/聊天机器人场景用较低温度，头脑风暴/创意类任务用较高温度。

3）Top-k

生成下一个 token 的默认方式，是按概率大小从全部 token 中进行采样。这个参数会把采样范围限制在概率最高的 k 个 token 之内。举例：k=5 → 模型在采样时只考虑最可能的 5 个候选 token。这有助于让输出更聚焦，但 k 设得过小可能导致输出变得重复。

4）Top-p（核采样）

模型不再从全部 token 或者前 k 个 token 中采样，而是从累计概率达到 p 的这部分 token 中采样。举例：top_p=0.9 → 只考虑那些概率总和刚好达到 90% 的最小 token 集合。相比 top-k，这种方式更具自适应性，适合在「连贯性」与「多样性」之间做权衡时使用。

5）频率惩罚（Frequency penalty）

降低已经频繁出现过的 token 被再次使用的概率。正值会抑制重复，负值则会加剧重复。适用于摘要类任务（避免冗余）或诗歌创作（刻意追求重复的韵律感）。

6）存在惩罚（Presence penalty）

鼓励模型引入文本中尚未出现过的新 token。数值越高，越倾向于追求新颖性；数值越低，模型越倾向于沿用已有的模式。在重视观点多样性的探索性生成场景中非常实用。

7）停止序列（Stop sequences）

一份自定义的 token 列表，一旦生成到其中任意一个就立即停止。这在结构化输出（比如 JSON）中至关重要，可以防止多余文本溢出。它让你无需依赖繁琐的提示词工程，就能严格限定回复的边界。

附加内容：min-p 采样

min-p 是今年早些时候提出的一种新方法。它与 top-p 采样类似，但不同之处在于：它不是保持一个固定的累计概率质量（比如 90%），而是根据模型的置信程度动态调整采样范围。它会先看最可能的那个 token 的概率，然后只保留那些概率至少达到该值某个比例（比如 10%）的 token。举例来说：如果最高得分的 token 概率是 60%，那么能通过筛选的候选项就会很少；但如果它只有 20%，那么就会有更多其他候选项能够通过这个阈值。简单来说，它会根据模型对「最可能 token」的置信程度，自动收紧或放宽采样池——这样一来，当模型很有把握时能保持连贯性，而在没那么有把握时又能保留多样性。