LLM 的温度参数深度解析——不只是"creativity"

适读人群：AI 工程师、对 LLM 调参感兴趣的工程师 | 阅读时长：约14分钟 | 核心价值：用真实实测数据说清楚 temperature 对工程的实际影响，以及反直觉的边界情况

最开始接触 temperature 这个参数的时候，所有教程的解释都差不多：temperature 越高，输出越有创意；temperature 越低，输出越稳定、越确定。

这个解释没有错，但它太粗糙了。用这个理解去实际工程里调参，大概率会踩坑。

我踩过一个典型的坑：给一个代码生成场景调参，想要稳定的输出，就把 temperature 设成了 0。结果发现，在某些代码补全场景里，temperature=0 的输出有时候会陷入一种奇怪的重复循环——模型每次都选概率最高的 token，但最高概率的 token 之间存在某种反馈循环，导致输出重复且质量很差。

这让我意识到 temperature 的工作原理，和"creativity 旋钮"的直觉理解，差了很多。

Temperature 的真实工作原理

先把技术细节说清楚，不然后面的讨论没有根基。

LLM 每次生成一个 token，都会先算出所有可能 token 的概率分布（logits），然后从这个分布里采样。Temperature 的作用，是在采样之前对这个分布做一个缩放：

scaled_logits = logits / temperature
probabilities = softmax(scaled_logits)

当 temperature=1 时，不做任何缩放，直接用原始分布采样。 当 temperature < 1 时，分母变小，logits 等效变大，概率分布变得更"尖"——概率高的 token 获得更高概率，概率低的 token 概率被压得更低。 当 temperature > 1 时，分母变大，概率分布变得更"平"——所有 token 的概率趋于均等。

所以 temperature 控制的本质是：你愿意在采样时，偏离"当前最可能选项"多远。

temperature=0 是极限情况——每次都选概率最高的那个 token，greedy decoding。 temperature 很高（比如 2.0）是另一个极限——几乎随机选，连低概率的 token 也有很大机会被选到。

我做的实测

去年我花了大概两周时间，在几个不同任务上做了 temperature 的系统性实验。测试用的是 GPT-4o，每组 temperature 设置跑 50 次，观察输出的差异。

任务一：确定性代码生成

任务：给一个 Python 函数签名，实现一个将列表中的字典按某个 key 排序的函数。

这个任务有明确的正确答案，测试的是输出稳定性。

temperature=0:    50/50 正确，输出完全一致
temperature=0.2:  49/50 正确，有一次用了不同但也正确的写法
temperature=0.5:  47/50 正确，偶尔会选择更复杂的实现方式
temperature=1.0:  43/50 正确，开始出现冗余代码或风格不统一
temperature=1.5:  35/50 正确，明显出现错误的实现
temperature=2.0:  21/50 正确，输出质量急剧下降

结论：对于有确定答案的代码任务，低 temperature（0-0.3）是合理的。

任务二：有多种正确答案的代码生成

任务：给一个数组去重，不要求特定实现方式。

这个任务有多种正确答案（set 转换、列表推导式、sorted+groupby 等），测试的是解法多样性。

temperature=0:    50/50 都用 list(set(arr))，完全没有多样性
temperature=0.3:  48/50 用 set，偶尔出现其他方式
temperature=0.7:  出现 5 种不同实现方式，其中 4 种完全正确
temperature=1.0:  出现 7 种不同实现方式，其中 6 种正确
temperature=1.5:  出现更多实现，但错误率明显上升（约 20%）

这里出现了第一个反直觉结果：对于有多种正确答案的任务，temperature=0 反而是个坏选择——不是因为它错，而是因为它没有探索其他可能。如果你在做代码自动补全，给用户提供"候选选项"，temperature=0 会导致每次都是同一个选项，失去了 AI 辅助的价值。

任务三：创意写作

任务：给一个产品名称，写三个不同风格的广告语。

temperature=0:    三个广告语风格类似，差异很小
temperature=0.7:  有一定差异，但创意感一般
temperature=1.0:  差异明显，大部分都有用
temperature=1.3:  差异更大，有惊喜，但也有一两个质量较差
temperature=1.8:  出现真正有创意的输出，但大约 30% 的输出是奇怪或不可用的

创意任务里，temperature=1.0-1.3 是个比较好的区间——够多样，但不至于太多噪音。

任务四：数学推理（反直觉结果）

任务：多步骤数学应用题，需要 chain-of-thought 推理。

我预期的结论是：temperature 越低，数学推理越稳定准确。

但实测结果出乎意料：

temperature=0:    准确率 71%
temperature=0.3:  准确率 75%（更高！）
temperature=0.7:  准确率 73%
temperature=1.0:  准确率 65%

temperature=0.3 居然比 temperature=0 的准确率更高。

我后来查了一些研究，发现这个现象有理论支撑：对于需要多步推理的任务，greedy decoding（temperature=0）有时候会在推理链的某一步选择了看起来概率最高但实际上会把推理引向死路的 token，后续就一步错步步错。而 temperature=0.3 的轻微随机性，偶尔让推理链绕开了这些局部最优陷阱。

这是个很重要的反直觉结论：对于多步骤推理任务，temperature=0 不是最优选择，轻微的随机性（0.2-0.4）可能更好。

几个工程里的实用建议

场景一：代码自动补全（Copilot 类）

不要用 temperature=0。你需要多样性，给用户提供选项，让用户自己选。

推荐区间：0.2-0.5

场景二：代码生成（给定规格，一次性生成）

如果是有唯一正确答案的代码（算法实现、CRUD），低 temperature（0.1-0.2）更稳定。 如果是有多种合理方案的代码（架构设计、优化），可以考虑用较高 temperature（0.7-1.0）生成多个候选，再让模型或人工评估。

场景三：分析和推理（多步骤）

不要用 temperature=0，轻微随机性有帮助。

推荐区间：0.2-0.4

场景四：摘要和提取

对输入内容做结构化提取（如：提取关键信息、归纳要点），通常期望稳定输出。

推荐区间：0-0.2

场景五：创意写作

根据你对质量和多样性的权衡调整。

如果你要的是质量稳定的一个输出：0.7-0.9 如果你要的是多个候选里有惊喜：1.0-1.3

不建议超过 1.5，大部分模型在高 temperature 下的输出质量会明显下降。

Temperature 之外的几个相关参数

说 temperature 就不得不提 top-p 和 top-k，这两个参数和 temperature 共同决定了采样行为。

top-p（nucleus sampling）

top-p 的逻辑是：只从累积概率超过 p 的 token 集合里采样。

比如 top-p=0.9，意思是把概率最高的那些 token 加起来，等到累积概率达到 90%，就只从这些 token 里采样，忽略其他低概率的 token。

top-p 和 temperature 都可以控制输出多样性，但机制不同。

它们的组合：

# 保守配置（代码生成、结构化提取）
{
    "temperature": 0.1,
    "top_p": 0.95
}

# 平衡配置（一般问答、分析）
{
    "temperature": 0.7,
    "top_p": 0.9
}

# 创意配置（文案、头脑风暴）
{
    "temperature": 1.1,
    "top_p": 0.85
}

注意：很多教程说不要同时调 temperature 和 top-p，选一个。这个建议有道理，因为两个参数效果部分重叠，同时调容易不知道是哪个在起作用。我的习惯是主要调 temperature，top-p 保持在 0.9-0.95。

最重要的提醒：不同模型不能套同一套参数

这是我在工程实践里学到的一个很实用的教训。

GPT-4o 在 temperature=0.7 表现很好的任务，在 Claude 3.5 Sonnet 上用同样的 temperature，表现可能不一样，因为两个模型的基础概率分布不同。

换句话说：temperature 参数的"绝对值"没有通用意义，只在特定模型上有特定意义。

如果你换了一个模型，建议重新做一轮快速测试，不要假设原来的参数设置直接迁移有效。

---

temperature 这个参数，看起来简单，但背后有完整的概率采样理论，在不同任务上的表现也有很多反直觉的地方。

我给的那几个"推荐区间"，是实测出来的经验值，不是权威答案。你的任务、你的数据、你的模型，可能有不同的最优点。

最好的调参方式，是自己跑实验，记录数据，形成对自己场景的判断。AI 工程里没有银弹，有的只是你对自己系统的深度理解。