千问团队开源Qwen-Image:支持图文生成与编辑的多模态基础模型

千问团队开源图像基础模型Qwen-Image,支持T2I/TI2I,多项基准表现突出,旨在推动多模态AI新范式。

原文标题:千问团队开源图像基础模型 Qwen-Image

原文作者:AI前线

冷月清谈:

千问大模型团队最近开源了Qwen-Image,一款强大的图像基础模型。该模型支持从文生图(T2I)到图文生图(TI2I)的编辑任务,并在多项基准测试中展现出卓越性能,位列人类评估网站AI Arena的第三名,与多个顶级闭源模型竞争。Qwen-Image采用Qwen2.5-VL处理文本、VAE处理图像输入,并通过多模态扩散变换器(MMDiT)进行图像生成,尤其在中文和英文文本渲染方面表现出色。千问团队强调,Qwen-Image不仅仅是先进的图像生成模型,更是多模态基础模型领域的一次范式转变,致力于模糊视觉理解与生成之间的界限,以构建更具交互性和智能化的多模态智能体。该模型通过收集并标注数十亿对图像文本对进行训练,数据涵盖自然、设计、人物和合成四大类别,并采取逐步提升图像分辨率、引入多样化图像类型等多重策略进行预训练。 后续经过监督微调(SFT)和强化学习(RL)两阶段优化,确保生成图像的精细度和真实感。Hacker News社区对其普遍给予高度评价,称其为功能强大的“多面手”,不仅能进行风格转换、对象增删、文本编辑,还支持目标检测、语义分割、超分辨率等多种高级功能。它就像一个多功能的工具箱,预示着图像生成与编辑技术的新高度。

怜星夜思:

1、文章提到Qwen-Image被Hacker News用户称为“多面手”,你觉得在实际应用中,它最有可能在哪些领域带来突破性变革?(不局限于文章提到的)
2、文章提到Qwen-Image的训练数据有数十亿对图像文本对,其中设计图像占27%,包含“丰富文本元素”。你认为这种对带有文本元素图像的重视,对未来的图像生成和编辑模型发展有什么影响?
3、Qwen-Image在AI Arena中排名第三,与GPT Image 1等闭源模型竞争。你对开源模型和闭源模型在未来AI发展中的角色怎么看?或者说,你更看好哪种模式?

原文内容

作者 | Anthony Alford
译者 | 明知山

千问大模型团队 最近开源了 Qwen-Image,一个图像基础模型。Qwen-Image 支持从文本到图像(T2I)的生成任务以及从文本图像到图像(TI2I)的编辑任务,并且在多项基准测试中均取得了超越其他模型的卓越表现。

Qwen-Image 使用 Qwen2.5-VL 处理文本输入,使用变分自编码器(VAE)处理图像输入,并通过多模态扩散变换器(MMDiT)进行图像生成。这一组模型在文本渲染方面表现出色,支持英语和中文文本。千问团队在包括 DPG、GenEval、GEdit 和 ImgEdit 在内的 T2I 和 TI2I 基准测试中对模型进行了评估,Qwen-Image 总体得分最高。在图像理解任务中,尽管不如专门训练的模型表现好,但 Qwen-Image 的性能与它们“非常接近”。此外,千问团队还创建了 AI Arena,一个比较网站,人类评估者可以在上面对生成的图像对进行评分。Qwen-Image 目前排名第三,与包括 GPT Image 1 在内的五个高质量闭源模型竞争。根据千问团队的说法:

Qwen-Image 不仅仅是一个最先进的图像生成模型,更是多模态基础模型领域的一次范式转变。它不仅在技术基准上取得了卓越成就,更挑战着整个社区重新思考生成模型在感知、界面设计和认知建模中的角色……随着我们持续扩展和完善这些系统,视觉理解和生成之间的界限将愈发模糊,为真正交互式、直观且智能的多模态智能体铺平道路。

为了创建模型的训练数据集,千问团队“收集并标注了数十亿对图像文本对”。其中图像涵盖了四个主要类别:自然、设计、人物和合成数据。自然图像约占数据的 55%。设计图像(包括绘画、海报和 GUI 图像)约占数据的 27%,并且包含了许多具有“丰富文本元素”的图像。这个初始数据集经过了大量筛选,去除了低质量的图像。他们还设计了一个标注框架,为每张图像生成详细的标题和元数据。

Qwen-Image 模型架构。图片来源:Qwen-Image 技术报告

千问团队设计了一个预训练过程,采用多种策略逐步改进模型的输出。团队采用了一种逐步提升图像分辨率的策略,将图像从 256x256 像素放大至 640x640,再到 1328x1328 像素。其他策略包括引入包含渲染文本的图像、具有更多样化领域和分辨率分布的图像,以及具有“超现实风格或……大量文本内容”的合成图像。

最后,模型的后训练分为两个阶段。第一阶段是监督微调(SFT),使用“精心人工标注”的数据集生成详细且逼真的图像。第二阶段是强化学习(RL),采用两种不同的策略优化方法,模型根据给定的提示词生成多张图像,由人类评估者挑选出最好和最差的图像。

Hacker News 的用户普遍对模型的表现给予了高度评价,并将其与 gpt-image-1 进行了对比。其中一位用户对此次发布表示:“这似乎意义重大。”另一位用户写道:

除了风格转换、对象添加和删除、文本编辑、人物姿态操作外,它还支持目标检测、语义分割、深度 / 边缘估计、超分辨率和新视角合成(NVS),即从基础图像合成新视角。它就像一个功能强大的“多面手”!初步结果显示,gpt-image-1 在清晰度和锐度方面略胜一筹,但我不确定 OpenAI 是否只是在后处理步骤中做了一些基本的锐化处理?

Qwen-Image 的代码可在 GitHub 上找到,模型文件 可以从 Huggingface 下载。

原文链接:

https://www.infoq.com/news/2025/08/qwen-image-model/

声明:本文由 InfoQ 翻译,未经许可禁止转载。

点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!

会议推荐

10 月 23 - 25 日,QCon 上海站即将召开,现在 8 折优惠最后 3 天,单张门票立省 1360 元,详情可联系票务经理 18514549229 咨询。


今日荐文

图片

你也「在看」吗?👇


重视文本肯定是个好方向,毕竟信息传递离不开文字。但影响有多大,还得看后续能不能真正做到‘所见即所得’。现在的图像模型,即便号称能处理文本,实际应用中也经常出现小偏差,比如少个字母、多划一笔之类的。如果Qwen-Image能把这些细节都搞定,那它的确会成为一个颠覆性的工具。它将推动图像生成工具从‘生成好看的背景’升级到‘生成有用的信息载体’,是向真正的智能内容创作迈进的一步。但挑战肯定不小,比如不同语言的字体、排版规则等。

我个人绝对是更看好开源模式!Qwen-Image这次开源就是一个很好的例子。开源意味着知识共享,意味着大家可以一起修bug、提优化,模型的迭代速度和安全性都能得到保障。而且,它能让更多中小企业和个人开发者有能力运用顶尖的AI技术,而不是被少数巨头垄断。这才是真正的民主化AI,能激发无限的创新火花,让AI不再是高高在上的象牙塔技术,而是能真正深入到我们生活方方面面、解决实际问题的工具!闭源虽然有市场优势,但长期来看,开源的创新速度和生态活力是它无法比拟的。

这个点确实是痛点!以前用AI生成海报,文字基本都不能看,还得后期PS。如果Qwen-Image真的能把文本元素处理好,那可就太方便了!未来我们可能会看到AI生成的海报、宣传单甚至网页设计能直接带上清晰可读、风格统一的文字,再也不用担心文不对图或者文字变形。这就把创作效率提升了好几个台阶,用户体验也会好很多。简直是设计师和营销狗的福音啊!

‘多面手’听起来就超酷!我想象它未来能在游戏开发里大展身手,比如一键生成各种风格的NPC纹理、场景道具,或者根据玩家文字描述实时生成剧情CG。甚至能用到‘换装游戏’里,给角色设计各种不存在的时装!在个性化教育方面,或许也能根据学习内容自动生成生动形象的图谱,让抽象知识变得可视可感。总之,就是让那些需要大量图片素材的行业‘飞’起来!

这个问题问得好。我认为Qwen-Image的‘多面手’特性将在创意设计与营销领域展现巨大潜力。比如,设计师能快速生成多样化的广告素材、海报草稿,甚至自动化UI/UX界面设计,大大缩短迭代周期。此外,在内容创作和数字媒体方面,它能够帮助创作者生成高质量的插画、漫画背景,或者实现视频中的高精度物体替换和场景编辑。甚至在**虚拟现实/增强现实(VR/AR)**的内容生成上,也能提供快速、个性化的素材支持。

这个问题很宏观。我觉得开源和闭源各有其不可替代的角色,并且会长期共存互补。 闭源模型通常由少数头部公司主导,资金和算力雄厚,往往能在模型性能上率先取得突破,引领技术前沿。它们能快速将前沿技术产品化,并通过API等形式提供服务,抢占市场。而开源模型则更像是加速器和普惠者。它们能让更多的开发者、研究者参与到模型优化和应用创新中,降低使用门槛,促进生态繁荣,尤其是在垂直领域和定制化需求上,开源模型具有无可比拟的优势。未来,闭源模型负责‘点亮灯塔’,开源模型则负责‘照亮航道’,两者相互促进,共同推动AI进步。

关于Qwen-Image对包含文本图像的重视,我认为这是未来图像生成模型迈向更高层级语义理解和更精细化控制的关键一步。传统T2I模型在文本渲染上常有‘鬼画符’现象,而Qwen-Image的策略意味着模型能够学习图像中‘文本即内容’的特性,从而实现更精准的文字嵌入、编辑甚至字体风格迁移。这对于品牌广告、信息图表、UI设计等领域至关重要,能极大提升生成内容的实用性和专业度。它促使模型不仅看‘图形’,更要懂‘文字’,这将推动多模态模型向更深层次的‘读图识字’能力演进。