DDTLLaMA：基于扩散时间步令牌的生成式多模态预训练方法

AI资讯
1

提出DDTLLaMA：利用扩散时间步学习离散递归视觉令牌，提升多模态理解与生成能力。

原文标题：【CVPR2025】基于离散扩散时间步令牌的生成式多模态预训练

原文作者：数据派THU

冷月清谈：

本文介绍了一种新的多模态预训练方法DDTLLaMA，该方法旨在通过学习离散的、递归的视觉令牌来构建更适合视觉语言理解的视觉表示。现有方法依赖于空间视觉令牌，但空间令牌缺乏语言中固有的递归结构，使大型语言模型难以掌握。DDTLLaMA利用扩散时间步来学习视觉令牌，使其能够递归地补偿在噪声图像中随时间步增加而逐步丧失的属性，从而在任意时间步重建原始图像。这种方法有效整合了大型语言模型在自回归推理方面的优势与扩散模型在精确图像生成方面的优势，实现了统一框架内的无缝多模态理解与生成。实验结果表明，DDTLLaMA在多模态理解与生成任务上表现优于其他MLLMs。

怜星夜思：

1、文中提到现有的空间视觉令牌缺乏语言的递归结构，导致LLM难以掌握。那么，除了递归结构，你认为语言还有哪些特性是现有视觉令牌没有捕捉到的，而这些特性对于MLLM至关重要？
2、DDTLLaMA通过扩散时间步来学习视觉令牌，从而实现图像重建。你认为这种方法在实际应用中，比如在图像修复、图像生成等方面，有哪些潜在的优势和局限性？
3、文章提到DDTLLaMA在多模态理解与生成任务上表现优于其他MLLMs。你认为未来MLLM的发展方向是什么？DDTLLaMA的这种方法对未来的研究有哪些启发?

原文内容

来源：专知
本文约1000字，建议阅读5分钟
我们通过利用扩散时间步来学习离散的、递归的视觉令牌，从而构建了一种合适的视觉语言。

近期在多模态大型语言模型（MLLMs）领域的研究致力于通过结合大型语言模型（LLM）与扩散模型（分别在各自任务中处于最先进水平），实现视觉理解与生成的统一。现有方法通常依赖于空间视觉令牌，即将图像块编码后按照空间顺序（例如光栅扫描顺序）排列。然而，我们指出，空间令牌缺乏语言中固有的递归结构，因此形成了一种大型语言模型难以掌握的“不可学习语言”。

在本文中，我们通过利用扩散时间步来学习离散的、递归的视觉令牌，从而构建了一种合适的视觉语言。我们提出的视觉令牌能够递归地补偿在噪声图像中随时间步增加而逐步丧失的属性，使扩散模型能够在任意时间步重建原始图像。这一方法使我们能够有效整合大型语言模型在自回归推理方面的优势与扩散模型在精确图像生成方面的优势，在统一框架内实现无缝的多模态理解与生成。

大量实验表明，我们在多模态理解与生成任务上同时达到了优于其他MLLMs的方法性能。项目页面：https://DDTLLaMA.github.io/



关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

从工程角度看，效率和可部署性也是重要的发展方向。现在很多MLLM模型都非常庞大，难以在移动设备或者边缘设备上部署。未来我们需要研究更轻量级、更高效的MLLM模型。DDTLLaMA在视觉令牌学习上的创新，或许可以帮助我们减少模型的参数量，提高模型的效率。

3

从泛化能力的角度来看，可能存在一些挑战。DDTLLaMA在特定数据集上训练的效果可能很好，但是否能够泛化到其他数据集，或者处理一些未见过的图像类型，这是需要考虑的。如果模型过度依赖训练数据中的特定模式，那么它的泛化能力可能会受到限制。

4

个人认为，未来MLLM的发展方向一定是更强的推理能力和泛化能力。现在很多MLLM能回答一些简单的问题，但是涉及到复杂的逻辑推理或者跨领域的知识，就显得力不从心。DDTLLaMA的思路在于寻找更合适的视觉表示，这提醒我们，视觉信息的编码方式对MLLM的性能至关重要。未来我们可以继续探索更有效的视觉表示方法，甚至是让模型能够自主学习更高级的视觉概念。

5

我比较关注它的可控性。如果我们想生成特定风格或者特定内容的图像，这种基于扩散时间步的方法是否能够提供足够的控制？现有的扩散模型在这方面已经取得了一些进展，比如通过条件扩散来控制生成结果。DDTLLaMA在这方面的表现如何，还需要进一步研究。

6

我觉得交互性会是关键词。未来的MLLM应该能够与用户进行更自然、更流畅的交互，不仅仅是回答问题，还可以主动提供信息、进行创作等等。从这个角度来看，DDTLLaMA的生成能力有很大的潜力。如果能够结合其他模态的信息，比如语音、文本，就可以实现更丰富的交互体验。

7

扩散模型在图像生成上的潜力是非常大的，DDTLLaMA 的思路很新颖！优势方面，我觉得它能更好地处理复杂和精细的细节。因为扩散过程本身就模拟了从噪声到清晰图像的逐步还原，所以理论上可以生成更高质量的图像，尤其是在图像修复中，可以更自然地填充缺失区域。不过，局限性也很明显，扩散模型的计算成本通常比较高，训练时间也比较长，这可能会限制它在一些对实时性要求高的应用场景。

8

从理论角度补充一点，空间视觉令牌更像是像素级别的表示，缺乏组合性。语言的强大之处在于可以通过组合有限的词汇来表达无限的意思。视觉令牌也应该具备类似的组合性，能够通过组合不同的视觉元素来表达复杂的场景和概念。现有的空间方法在这方面可能还有提升空间。

9

这个问题很有意思！我觉得除了递归结构，空间视觉令牌可能还缺少对上下文依赖的有效编码。语言的理解很大程度上依赖于语境，而图像的空间顺序可能无法完美地捕捉到这种语境关系。例如，一个孤立的’苹果’图像块和一个在’桌子上’的’苹果’图像块，含义是不同的。MLLM需要能理解这种隐含关系，才能真正理解图像的内容。

10

同意楼上的观点。我再补充一点，我认为空间视觉令牌在处理抽象概念方面可能存在不足。就像语言可以表达抽象的情感，比如“喜悦”、“悲伤”，图像也蕴含着类似的情感和抽象信息。将图像简单地分割成空间块，可能会丢失这些更高层次的语义信息。MLLM不仅要识别物体，还要理解图像背后的情感和意图。