无需验证数据，用多样本推理优化LLM温度参数

AI资讯
1

提出一种无需验证数据的LLM温度参数自动优化方法，基于熵的度量方法和随机过程建模，提升模型性能和可解释性。

原文标题：【ICML2025】利用多样本推理优化语言模型的温度参数

原文作者：数据派THU

冷月清谈：

文章探讨了如何在使用多样本聚合策略（如多数投票和Best-of-N采样）提升大型语言模型（LLMs）性能时，自动寻找（近）最优温度参数的问题。现有方法通常依赖固定默认温度或带标签的验证数据进行调参，但验证数据在实际中往往稀缺。文章提出了一种基于熵的全新度量方法，无需任务特定验证数据，即可自动优化温度参数。实验表明，该方法在多个实验中表现优于固定温度基线。此外，文章还引入了一种随机过程建模方法，提升了温度调节过程的可解释性，有助于理解温度与模型性能之间的关系。研究涵盖了模型架构、数据集、任务类型、模型规模等多种变量，对温度在性能优化中的作用进行了系统分析。

怜星夜思：

1、文章提到温度参数对LLM性能有显著影响，那么除了温度，还有哪些超参数对LLM的性能影响比较大？这些参数之间是否存在相互影响？
2、文章中提到的'熵'作为一种度量方法来优化温度参数，大家觉得还有哪些信息论相关的概念可以应用到LLM的优化中？
3、文章提出了一种随机过程建模方法，提升温度调节过程的可解释性。那么如何理解这种可解释性？可解释性对于LLM的应用有什么实际意义？

原文内容

来源：专知

        本文约1000字，建议阅读5分钟

        本文旨在解决在无需任务特定验证数据的前提下，使用多样本聚合策略为不同LLMs自动寻找（近）最优温度的问题。


多样本聚合策略（multi-sample aggregation strategies），如多数投票（majority voting）和 Best-of-N 采样，已被广泛应用于当代大型语言模型（Large Language Models，LLMs）中，以提升在各类任务中的预测准确性。在此过程中，一个关键挑战是温度参数的选择，该参数对模型性能有显著影响。现有方法通常依赖固定的默认温度，或需使用带标签的验证数据进行调参，而这类数据在实际中往往稀缺且难以获取。

本文旨在解决在无需任务特定验证数据的前提下，使用多样本聚合策略为不同LLMs自动寻找（近）最优温度的问题。我们对温度在性能优化中的作用进行了系统分析，涵盖模型架构、数据集、任务类型、模型规模与预测准确性等多种变量。

此外，我们提出了一种基于熵的全新度量方法，用于自动优化温度参数，在多个实验中其表现持续优于固定温度的基线方法。我们还引入了一种随机过程建模方法，提升了温度调节过程的可解释性，帮助深入理解温度与模型性能之间的关系。

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

2

格局打开！我觉得除了模型本身的超参数，训练数据的质量和数量也很关键。垃圾数据进来，垃圾模型出去。如果数据量不够，再怎么调超参数也是白搭。这几个方面就像木桶的板，最短的那块决定了最终的性能。

3

我来抛砖引玉。除了温度，像学习率、batch size、dropout rate这些都是很重要的超参数。学习率决定了模型学习的速度，太大容易震荡，太小收敛太慢；batch size影响梯度下降的稳定性和训练速度；dropout rate可以防止过拟合。这些参数之间肯定有相互影响，比如学习率和batch size，大的batch size可能需要更大的学习率才能有效训练。

4

同意楼上的观点，超参数调优确实是个玄学问题。我补充一点，attention机制相关的超参数，比如attention head的数量、attention的dropout rate，也会对模型性能产生影响，尤其是在处理长文本时。而且不同的超参数组合可能会产生意想不到的效果，所以Grid Search或者Bayesian Optimization这种方法还是很有必要的。

5

我理解的可解释性是：我们能知道模型为什么会给出这样的结果。对于LLM，如果我知道调整温度后，模型生成结果的分布会发生什么变化，我就能更好地控制模型的生成风格。比如，我希望模型生成更可靠的答案，就可以降低温度，生成更发散的答案，就可以提高温度。实际意义在于，提高模型的可靠性和可控性，这在一些安全性要求高的场景下非常重要，比如医疗、金融。

6

可解释性这玩意儿，我觉得有点像皇帝的新衣。随机过程建模，说白了就是用数学模型来描述温度调整的过程，让我们知道温度是怎么变化的，为什么会这样变化。但实际意义在于，我们可以根据这个模型来预测未来的温度变化趋势，从而更好地控制模型的生成结果。如果不可解释，那就只能盲调参数了。

7

可解释性在LLM落地应用中非常重要！想想，如果一个模型给出的答案是错的，但你不知道为什么错，怎么改进它？可解释性可以帮助我们debug模型。此外，在一些需要信任背书的场景，比如法律咨询、新闻报道，可解释性可以提高用户对模型的信任度。例如，模型需要能够解释它为什么推荐某个法律条文，或者为什么认为某条新闻是虚假的。

8

我觉得可以用 perplexity（困惑度）来评估模型生成文本的流畅度和合理性，perplexity越低，模型越好。虽然perplexity本身跟熵有关系，但它更直接地反映了模型在生成文本时的表现。也可以考虑用最大熵原理，在满足某些约束条件的前提下，使得模型的熵最大，这样可以避免模型过于自信，提高泛化能力。

9

从一个更工程的角度看，可以用信息增益来做特征选择啊，虽然现在LLM都是端到端训练，没有明显的特征工程步骤，但是可以借鉴这个思路来选择更重要的输入token，或者对embedding做一些处理，突出关键信息。有点类似attention机制的思想了。

10

熵这个思路很棒！我想到的是互信息，可以用来衡量输入和输出之间的相关性，如果互信息比较低，可能说明模型学到的东西不够多，需要调整训练策略。还可以用KL散度来衡量模型生成文本的分布和真实文本分布的差异，KL散度越小，说明模型生成的文本越接近真实文本。