MARGE：利用命中引导探索增强大型语言模型数学推理能力

AI资讯
1

MARGE通过命中引导探索提升LLM数学推理能力，无需额外标注或训练，提升了准确率和多样性。

原文标题：【ICML2025】MARGE：通过引导式探索提升大型语言模型的数学推理能力

原文作者：数据派THU

冷月清谈：

本文介绍了MARGE，一种通过命中引导探索来提高大型语言模型在数学推理方面的能力的方法。该方法旨在解决高质量问题数量不足的问题，通过系统性地探索模型自生成解答中提取的中间推理状态，实现更充分的推理空间探索，并在整个过程中改进归因机制。实验结果表明，MARGE在不依赖外部标注或额外训练价值模型的前提下，显著提升了模型的推理能力，同时提高了单轮推理准确率与探索多样性，有效缓解了现有对齐方法中常见的性能权衡问题。

怜星夜思：

1、MARGE方法中“命中引导探索”的核心思想是什么？为什么这种探索方式能更有效地提升数学推理能力？
2、文章提到MARGE缓解了“性能权衡问题”，具体指的是什么？这种权衡在其他LLM对齐方法中常见吗？
3、MARGE在数学推理之外，是否有可能应用到其他需要复杂推理的领域？如果可以，你认为哪些领域最有潜力？

原文内容

来源：专知

        本文约1000字，建议阅读5分钟

        我们提出 MARGE，这是一种通过命中引导探索提升数学推理能力的新方法。


大型语言模型（LLMs）在数学推理方面展现出强大潜力，然而其效果常受限于高质量问题数量不足。为克服这一限制，研究者尝试通过自生成数据扩大计算响应规模，但现有方法在推理各阶段的探索效率较低，容易引入虚假的相关性数据，导致性能受限。为解决这一挑战，我们提出 MARGE（Improving Math Reasoning with Guided Exploration），这是一种通过命中引导探索（hit-guided exploration）提升数学推理能力的新方法。

MARGE系统性地探索由模型自生成解答中提取的中间推理状态，实现充分的推理空间探索，并在整个过程中改进归因机制。我们在多个主干模型与标准基准测试上的广泛实验表明，MARGE在不依赖外部标注或额外训练价值模型的前提下，显著提升了模型的推理能力。值得一提的是，MARGE同时提升了单轮推理准确率与探索多样性，有效缓解了现有对齐方法中常见的性能权衡问题。

实验结果表明，MARGE在增强数学推理能力、释放自生成训练数据的潜力方面具有显著效果。我们的代码与模型已开放获取。

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

2

我认为在需要可解释性的复杂推理任务中，MARGE的潜力巨大。例如，在医疗诊断中，医生需要根据患者的症状和检查结果进行推理，才能做出诊断。如果LLM能够像MARGE一样，在推理过程中提供清晰的中间步骤和依据，那么就能更好地辅助医生进行决策，并提高诊断的准确性和可信度。此外，在法律推理、科学发现等领域，MARGE也可能发挥重要作用。

3

谢邀，个人觉得“命中引导探索”的关键在于对中间步骤的评估和筛选。传统方法可能一股脑地生成大量数据，但其中很多都是噪音。而MARGE会关注那些更有价值的中间状态，并以此为基础继续探索，这就像是在知识图谱中沿着最相关的路径进行推理一样，效率更高，也更容易找到正确的答案。

4

“性能权衡问题”可能是指，提高模型推理的准确率通常会导致探索的多样性降低，反之亦然。就好比，为了保证射击的精准度，就不得不牺牲射击的速度。MARGE能同时提升准确率和多样性，说明它找到了一种更好的平衡策略。这种权衡在其他LLM对齐方法中应该很常见，毕竟优化一个目标往往会影响其他目标的表现。

5

同意楼上的观点，性能权衡问题在LLM对齐中是个普遍挑战。例如，通过监督学习进行对齐，模型可能会过度依赖训练数据，导致在未见过的问题上表现不佳；而强化学习对齐又容易出现reward hacking，模型学会了利用奖励函数的漏洞来获得高分，但实际能力并没有真正提升。MARGE能够缓解这个问题，可能因为它在探索过程中引入了更强的约束和引导，使得模型在追求准确率的同时，也能保持一定的探索空间。

6

我的理解是，很多对齐方法为了追求特定的性能指标（比如准确率），可能会牺牲模型的泛化能力和探索能力。MARGE比较厉害的地方在于，它能够兼顾准确率和多样性，避免了这种顾此失彼的情况。这种权衡在其他方法中确实存在，比如某些强化学习方法，为了获得最高的奖励，可能会过度拟合训练数据。

7

当然可以！感觉在需要大量试错和优化的场景下，MARGE都可能有用。比如，在自动驾驶的路径规划中，可以利用已知的安全路径作为引导，探索更优的驾驶策略。或者在金融交易中，可以根据历史交易数据作为引导，探索更赚钱的交易策略。关键在于如何定义和提取“命中”，并设计有效的探索机制。

8

核心思想在于对模型生成的中间推理状态进行选择性探索，而不是盲目地生成和学习。这种方式的有效性在于，它能够聚焦于更有可能通向正确答案的路径，从而减少计算资源的浪费和降低噪声数据的干扰。想象一下，如果在解题过程中，每一步都确认一下是否接近正确答案，那么出错的概率自然会降低。

9

命中引导探索，我的理解就是像侦探破案一样，根据已知的线索（命中，也就是比较靠谱的中间推理状态）去逐步推导，而不是像无头苍蝇一样乱撞。这种方式能更有效地锁定正确的推理路径，避免被无效或错误的信息干扰。就好比GPS导航，知道目的地在哪，才能更精准地规划路线。

10

我觉得完全有可能！MARGE的核心思想是“引导式探索”，这在很多需要解决复杂问题的领域都有用武之地。比如，在软件调试中，我们可以利用已知的bug信息（命中）来引导探索，更快地找到问题根源。或者在药物发现中，我们可以根据已知的药物活性来引导探索，筛选出更有潜力的候选药物。