ICLR'26：MMSU评测揭示语音大模型理解力短板，感知能力成瓶颈。模型在音系和细粒度声学特征上存在短板，导致推理能力受限。语音理解需同时解析语言内容、声音组织与表达风格。
原文标题：大模型真听懂了吗？最全综合性口语感知与推理基准 | ICLR'26
原文作者：数据派THU
冷月清谈：
怜星夜思：
2、MMSU评测基准特别强调了口语中语调、重音等“how it was said”的重要性，相对于内容本身，你们觉得在日常交流中，表达方式对信息传递的影响有多大？
3、论文中提到，最好的模型在MMSU评测中只达到了60.68%的得分，远低于人类水平。你认为为了让语音大模型更接近人类的语音理解能力，未来有哪些可能的改进方向？
原文内容
来源：新智元本文约3000字，建议阅读5分钟ICLR 2026：MMSU评测揭示语音大模型存在严重理解缺陷，最佳模型仅60.7%得分，远低于人类89.7%。它通过语言学框架，系统评估语音中的语调、停顿、情绪等关键要素，指出模型未能真正「听懂」语音，导致推理失效。这一发现强调语音理解需同时处理感知与语用信息，为模型改进提供明确方向。
随着多模态大模型能力不断扩展，语音大模型(SpeechLLMs) 已从语音识别走向复杂语音交互。
然而，当模型逐渐进入真实口语交互场景，一个更基础的问题浮现出来：我们是否真正定义清楚了「语音理解」的能力边界？
在自然口语交流中，理解并不等同于文本转写。语言意义的建构，既依赖「说了什么」（what was said），也依赖「怎么说」（how it was said），更依赖说话人在特定语境下「真正想表达什么」（what was truly meant）。语调、重音、停顿、语速变化、情绪表达与语用等现象，往往决定了说话人的真实含义。
在这一背景下，研究团队提出了MMSU（Massive Multi-task Spoken Language Understanding and Reasoning Benchmark），一个覆盖47个子任务、5,000道选择题的综合性语音理解评测基准，旨在从语言学结构出发，系统刻画SpeechLLMs在多层语言现象下的感知与推理能力，并为语音理解能力建立可分析、可诊断、可比较的统一坐标体系。
论文链接：https://arxiv.org/pdf/2506.04779
数据链接：https://huggingface.co/datasets/ddwang2000/MMSU
项目主页：https://github.com/dingdongwang/MMSU
重新审视语音理解的评测边界
与其问「模型准确率多少」，不如先问：我们是否测对了能力？
MMSU指出，当前语音评测存在三类关键缺口：
-
覆盖不足：大量真实口语现象尚未被系统纳入评估，包括自发性不流畅、反讽、非语言声音（如咳嗽、抽泣、笑声）、重音转移、停顿结构、语调变化、拉长音以及code-switch等。这些看似细微的声学特征，往往承载着决定性语用信息，是推断「话外之音」的关键线索。
-
数据真实性有限：许多现有benchmark依赖TTS合成语音，虽然便于控制变量，却难以还原真实交流中自然的表达波动与风格差异。
-
缺乏语言学理论支撑：语音理解的能力边界，根植于语言学理论本身。音系决定声音如何组织，语义决定意义如何编码，修辞与语用决定表达如何产生隐含含义，副语言信号则参与意义的调节与强化。然而，现有基准多以任务现象为单位，缺乏以语言学为根源的系统划分。MMSU以语言学理论为基础构建评测框架，在理论层面定义语音理解的能力结构。
这些问题并非独立存在，而是共同导致评测结果与真实理解能力之间的结构性偏差。
在数据构建阶段，MMSU 由语言学专家与标注人员参与设计与审核。所有题目均经过多轮严格筛选与一致性校验，确保难度设置合理、整体评测质量可靠。不同于仅通过音频收集构建数据的benchmark，MMSU 结合了专业录音，使关键语音现象（如重音转移、语调变化、停顿结构等）得到清晰呈现与可控对比，从而提升评测的可靠性。
MMSU 的核心优势体现在三个方面：
第一，在口语声学现象覆盖上，MMSU 系统纳入重音转移、语调变化、停顿结构、拉长音、不流畅表达、反讽、非语言声音等多类真实交流现象，覆盖范围在现有语音理解评测中最为全面。
第二，数据构建中采用大量真实音频样本，并结合专业录音，确保语音表达自然且具有可评估性。
第三，任务体系基于语言学理论框架进行原创性任务设计，将声学线索系统融入真实人际交流语境，形成面向真实交流场景的综合考核机制。
MMSU包含5000道选择题，47个子任务，其中24个感知任务，23个推理任务。任务覆盖范围从底层声学感知到高阶语用推断。
MMSU 将语音理解拆解为三个层级，形成一个结构化能力框架。
第一层：Perception vs Reasoning
感知Perception：聚焦基础声学与语音特征识别，不依赖复杂推理。
推理Reasoning：在感知基础上整合语义与语境信息，完成多步推断。
第二层：Linguistics vs Paralinguistics
语言学Linguistics：涉及语言系统本身的结构与意义，包括语义、句法、音系结构与修辞现象。这里关注的是语言单位如何组织，以及它们如何编码意义。
副语言学Paralinguistics：关注语言之外但影响理解的声学与表达特征，例如音高、音量、语速、情绪表达、停顿模式、非语言声音等。这些线索并不改变词汇内容，却往往改变话语意图与语用效果。
第三层：理论分支
在前两层划分基础上，MMSU 进一步依据语言学理论进行系统展开。在语言维度上，任务细分为语义Semantics与音系Phonology两个方向：语义关注意义理解与语境推断，音系关注语调、韵律与音位差异等声音结构。
在副语言维度上，任务区分为说话人特征Speaker Traits与表达风格Speaking Style，前者涉及音色与身份属性，后者涵盖音高、语速、情绪等动态线索。具体而言，评测涵盖双关语推理、语调推理、重音推理、辅音与元音感知、爆破音识别，讽刺检测、语速比较、音色识别，情绪语境推断等多类任务，系统覆盖真实口语交流中的关键能力。
通过这一层展开，MMSU在理论层面将语音理解拆解为语义内容、声音结构、说话人属性与表达风格四个核心分支，使「说了什么」「怎么说」以及「真正想表达什么」能够在统一框架中被精细刻画与系统评估。
研究团队对22个先进SpeechLLMs与OmniLLMs进行了系统评测。人类参考水平为89.72%，最佳模型（Gemini-1.5-Pro）为60.68%，差距接近30个百分点。
一个值得关注的反直觉现象随之显现：在人类表现中，推理任务通常更具挑战；而在模型表现中，基础感知反而成为瓶颈，尤其是在音系相关能力上，模型存在系统性短板。
这意味着，许多所谓的「推理错误」可能并非源于模型缺乏逻辑能力，而是在输入阶段未能准确捕捉关键声学线索，换言之，模型的「思考能力」或许被高估，而「听清能力」却被低估。
语音理解的难点，从来不在于识别字词，而在于理解表达结构。
意义并非仅由语义内容决定，还由声音形式与表达方式共同塑造。语调、重音、停顿、语速与情绪变化，往往决定了真实意图。忽略这些声学线索，模型就无法完成真正的语用推断。
实验结果进一步表明，推理能力的上限取决于感知能力的下限。当模型在音系与细粒度声学特征上存在系统性短板时，再强的语言建模能力也难以弥补输入层的缺失。
因此，语音理解并不是单一语义问题，而是一个多层结构问题。它要求模型同时解析语言内容、声音组织与表达风格，并在此基础上整合语境完成推断。
如果缺乏系统性的能力坐标，我们无法判断模型究竟听清了什么、理解了什么，又推理到了何种程度。MMSU 所尝试构建的，正是这样一套结构化标尺。在多模态模型走向真实交互的过程中，语音理解仍是一个尚未被充分攻克的核心问题。
