QwQ-32B:规模更小,推理能力比肩DeepSeek-R1

阿里云开源320亿参数模型QwQ-32B,推理能力比肩DeepSeek-R1,现已登陆Hugging Face和ModelScope。

原文标题:QwQ-32B:更小尺寸,性能比肩全球最强开源推理模型

原文作者:阿里云开发者

冷月清谈:

阿里云推出了新的320亿参数推理模型QwQ-32B,其性能可与6710亿参数的DeepSeek-R1媲美。该模型通过大规模强化学习(RL)进行训练,在数学推理、编程能力和通用能力方面表现出色。

QwQ-32B在AIME24(数学)、LiveCodeBench(代码)等测试中与DeepSeek-R1表现相当,并在LiveBench、IFEval、BFCL等通用能力测试中超越了DeepSeek-R1。

QwQ-32B的训练过程分为两个阶段:第一阶段针对数学和编程任务进行强化学习,通过验证答案正确性和代码执行结果提供反馈;第二阶段针对通用能力进行强化学习,使用通用奖励模型和基于规则的验证器。

目前,QwQ-32B已在Hugging Face和ModelScope开源,并采用了Apache 2.0开源协议。用户也可以通过Qwen Chat直接体验该模型。

怜星夜思:

1、QwQ-32B 模型参数规模小于 DeepSeek-R1,但性能相当甚至更好,这是否意味着模型参数规模并非越大越好?未来大模型发展方向会是什么?
2、文章提到了 QwQ-32B 使用了大规模强化学习,具体是如何实现的?这种训练方式相比传统的预训练模型有什么优势?
3、QwQ-32B 开源了,对开发者和研究者来说意味着什么?会对大模型的生态产生哪些影响?

原文内容

近期的研究表明,强化学习可以显著提高模型的推理能力。例如,DeepSeek-R1 通过整合冷启动数据和多阶段训练,实现了最先进的性能,使其能够进行深度思考和复杂推理。

这一次,我们探讨了大规模强化学习(RL)对大语言模型的智能的提升作用,同时推出我们最新的推理模型 QwQ-32B。这是一款拥有 320 亿参数的模型,其性能可与具备 6710 亿参数(其中 370 亿被激活)的 DeepSeek-R1 媲美。

这一成果突显了将强化学习应用于经过大规模预训练的强大基础模型的有效性。此外,我们还在推理模型中集成了与 Agent 相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。

我们希望我们的一点努力能够证明强大的基础模型叠加大规模强化学习也许是一条通往通用人工智能的可行之路。

QwQ-32B 模型效果

QwQ-32B 在一系列基准测试中进行了评估,测试了数学推理、编程能力和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比,包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。

在测试数学能力的 AIME24 评测集上,以及评估代码能力的 LiveCodeBench 中,千问 QwQ-32B 表现与DeepSeek-R1相当,远胜于 o1-mini 及相同尺寸的R1 蒸馏模型;在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜” LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问 QwQ-32B 的得分均超越了 DeepSeek- R1。

大规模强化学习

我们在冷启动的基础上开展了大规模强化学习。在初始阶段,特别针对数学和编程任务进行了 RL 训练。与依赖传统的奖励模型(reward model)不同,我们通过校验生成答案的正确性来为数学问题提供反馈,并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码的反馈。

我们发现在 RL 扩展过程中,随着训练轮次的推进,这两个领域中的性能均表现出持续的提升。

在第一阶段的 RL 过后,我们增加了另一个针对通用能力的 RL。此阶段使用通用奖励模型和一些基于规则的验证器进行训练。我们发现,通过少量步骤的通用 RL,可以提升其他通用能力,同时在数学和编程任务上的性能没有显著下降。

通过API使用QwQ-32B

以下我们展示了一段简短的示例代码,说明如何通过 API 使用 QwQ-32B。

from openai import OpenAI
import os

Initialize OpenAI client

client = OpenAI(
   # If the environment variable is not configured, replace with your API Key: api_key=“sk-xxx”
   # How to get an API Key:https://help.aliyun.com/zh/model-studio/developer-reference/get-api-key
   api_key=os.getenv(“DASHSCOPE_API_KEY”),
   base_url=“https://dashscope.aliyuncs.com/compatible-mode/v1
)

reasoning_content = “”
content = “”

is_answering = False

completion = client.chat.completions.create(
   model=“qwq-32b”,
   messages=[
       {“role”: “user”, “content”: “Which is larger, 9.9 or 9.11?”}
   ],
   stream=True,
   # Uncomment the following line to return token usage in the last chunk
   # stream_options={
   #     “include_usage”: True
   # }
)

print(“\n” + “=” * 20 + “reasoning content” + “=” * 20 + “\n”)

for chunk in completion:
   # If chunk.choices is empty, print usage
   if not chunk.choices:
       print(“\nUsage:”)
       print(chunk.usage)
   else:
       delta = chunk.choices[0].delta
       # Print reasoning content
       if hasattr(delta, ‘reasoning_content’) and delta.reasoning_content is not None:
           print(delta.reasoning_content, end=‘’, flush=True)
           reasoning_content += delta.reasoning_content
       else:
           if delta.content != “” and is_answering is False:
               print(“\n” + “=” * 20 + “content” + “=” * 20 + “\n”)
               is_answering = True
           # Print content
           print(delta.content, end=‘’, flush=True)
           content += delta.content

未来

这是Qwen在大规模强化学习(RL)以增强推理能力方面的第一步。通过这一旅程,我们不仅见证了扩展RL的巨大潜力,还认识到预训练语言模型中尚未开发的可能性。

在致力于开发下一代Qwen的过程中,我们相信将更强大的基础模型与依托规模化计算资源的RL相结合,将会使我们更接近实现人工通用智能(AGI)。此外,我们正在积极探索将智能体与RL集成,以实现长时推理,目标是通过推理时间扩展来释放更高的智能,敬请期待。

欢迎体验

目前,QwQ-32B 已在 Hugging Face (https://huggingface.co/Qwen/QwQ-32B) 和 ModelScope (https://modelscope.cn/models/Qwen/QwQ-32B) 开源,并采用了 Apache 2.0 开源协议。

也欢迎大家通过 Qwen Chat

 (https://chat.qwen.ai/?models=Qwen2.5-Plus)直接进行体验!

👇点击「阅读原文」一键体验QwQ-32B

开源对于大模型生态的影响是巨大的,就像 Android 系统开源一样,会催生一大批基于 QwQ-32B 的应用和服务,形成一个围绕 QwQ-32B 的生态圈,加速大模型技术的落地和商业化。

模型参数规模和性能的关系就像火箭的燃料和速度,燃料多固然能飞得更快,但如果火箭设计不行,燃料再多也白搭。QwQ-32B 的例子说明,更精巧的“火箭设计”——比如强化学习的训练策略——能让模型飞得更高更快更省油。未来可能更侧重于寻找更优的“火箭设计”,而非单纯追求更大的“油箱”。

文章中提到了两阶段的强化学习训练,先针对数学和代码进行强化学习,再进行通用能力的强化学习。这种方式的好处是可以让模型先在特定领域深入学习,再扩展到更广泛的领域,避免了“眉毛胡子一把抓”的情况,更有针对性。

强化学习就像“打怪升级”,模型通过不断试错和反馈来提升能力。相比传统的预训练,强化学习更注重模型的实际应用能力,就像考试不光要背知识点,还要会做题一样,QwQ-32B 就是通过“做题”来提升自己的推理能力。

传统预训练模型就像“填鸭式”学习,只管输入大量数据,但模型究竟学到了什么并不清楚。强化学习则更像“因材施教”,通过奖励和惩罚机制引导模型学习更有用的知识和技能,从而提升推理能力。

我觉得未来可能会出现“模型精简化”的趋势,就像 QwQ-32B 这样,用更少的参数达到更好的效果,这样可以降低训练和部署成本,让更多人用得上大模型。当然,探索更大规模模型的潜力仍然重要,两者可能是并行发展的。

开源意味着开发者可以基于 QwQ-32B 进行二次开发和研究,可以根据自己的需求定制模型,也可以贡献代码改进模型,这将促进大模型技术的快速发展和普及。

QwQ-32B 的开源降低了大模型的使用门槛,让更多开发者和研究者能够参与到大模型的生态建设中来,这有助于构建一个更加开放和繁荣的大模型社区。

参数规模并非越大越好,这已经成为了业界共识。QwQ-32B 的成功证明了这一点,高效的训练方法和合理的模型架构设计同样重要,甚至可能比单纯堆叠参数更有效。未来大模型发展方向可能会更注重模型效率、可解释性和特定领域应用。