淘宝天猫商家喜迎AI视频制作时代:一键图生视频功能上线

淘宝天猫商家现可使用“淘宝星辰”AI工具,一键将图片转换为高质量商品视频,开启电商视频制作新时代。

原文标题:从今以后,所有淘宝天猫商家都能一键图生视频了

原文作者:机器之心

冷月清谈:

阿里妈妈推出名为"淘宝星辰"的AI视频制作工具,正式向淘宝天猫商家开放。该工具基于自研的淘宝星辰视频生成大模型,可以将静态图片一键转换为高质量的5秒视频,并能根据用户提供的多语种文本描述进行创作。"淘宝星辰"工具的核心优势在于更懂电商的商品展示手法、更强的多语种语义遵循能力、符合物理和动作规律的画面生成、以及稳定的人物、商品和装饰元素保持。

该工具背后是阿里妈妈在视频AIGC方向上的持续投入,从最初的Unet Diffusion Model路线到自研的3D VAE和淘宝星辰视频生成大模型(包括Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等),技术不断迭代升级。目前,Tbstar-I2V大模型已应用于"淘宝星辰 · 图生视频"工具中。

"淘宝星辰"工具操作便捷,只需上传图片并根据需要输入文本描述,即可一键生成视频。它不仅能以更专业的角度展示商品,还能根据用户的文本指令生成符合预期的视频效果,并能生成专业的电影级光影效果。同时,它还能确保画面中的人物、商品和装饰元素的稳定性和清晰度。

该工具的应用场景广泛,涵盖商品主图视频、卖点吸睛视频、服饰一体化视频、虚拟试穿视频、UGC场景视频化以及泛娱乐场景视频制作等多个方面,为商家提供了高品质、低成本的原生化视频制作方案。

怜星夜思:

1、这个"淘宝星辰"工具对于没有专业视频制作经验的小商家来说,是不是真的能轻松上手,做出高质量的视频?有没有一些上手教程或者使用技巧分享?
2、都说AI生成的视频容易有"违和感",这个"淘宝星辰"生成的视频效果如何?会不会出现一些不符合逻辑的画面或者动作?
3、"淘宝星辰"目前只对淘宝天猫商家开放,普通用户什么时候才能体验到这个功能?未来会不会有更多面向普通用户的AI视频创作工具?

原文内容

机器之心发布

机器之心编辑部


这两年,大模型作为前沿技术,正逐步深入电商行业的各个环节。

2025,这一变革仍在加速:近日,【淘宝星辰 · 图生视频】工具已重磅上线,并对淘宝天猫商家正式开放!

体验地址:https://agi.taobao.com/

(目前仅对淘宝天猫商家开放,普通用户请耐心等待~)

以下视频来源于
阿里妈妈技术

一、淘宝星辰:懂你,更懂电商!

【淘宝星辰】是由阿里妈妈基于自研的淘宝星辰视频生成大模型推出的视频AIGC工具。依靠先进的自研大模型、海量的电商数据、丰富的设计语言和业内领先的营销经验,【淘宝星辰 · 图生视频】工具在电商视频生成中展现出以下核心优势:

  • 更懂商品的展示手法:基于丰富的电商数据和设计经验,自动识别并应用最适合不同类别商品的展示手法。从产品细节的精准呈现到整体风格的统一协调,确保每一件商品都能以最佳方式展示。
  • 更强的多语种语义遵循能力:深度理解参考图片和多语种指令(中/英),精准捕捉文本指令中的关键动作信息,确保生成视频与用户意图高度契合。
  • 合理的物理和动作规律:严格遵循物理规律和动作规范,确保画面流畅自然,避免出现不符合现实的画面效果,提升视频的真实感和专业度。
  • 稳定的人物、商品和装饰保持:无论是人脸、商品、还是文字、贴纸等装饰元素,始终保持清晰、完整、无抖动或变形,提升视觉一致性。


二、淘宝星辰视频生成大模型


在主流AIGC背景下,视频生成早已不是单纯的生成算法优化和应用,而是一个更加复杂的、系统性的算法工程,其中人、数据、模型、算力是最核心的四个因素。

在2024年3月,我们基于Unet Diffusion Model路线研发并上线了,实现了视频AIGC在电商场景的首次应用落地,在业内产生了一定的传播度和影响力。但是,由于技术路线、数据等多个因素的限制,阿瞳木动效视频在画面稳定性、内容可控性、目标与动作丰富性等关键要素上,仍然存在较大的进步空间。

从去年3月至今,我们在视频AIGC方向上坚定地持续投入。通过算法、数据、工程等众多团队的密切协作,我们完成了面向生成任务的数据飞轮、自研3D VAE、自研淘宝星辰视频生成大模型(包括Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等)等多个关键模块和模型从0到1的建设。目前,Tbstar-I2V大模型已经应用于【淘宝星辰 · 图生视频】工具中,为用户提供更懂电商的图生视频功能。

图片
淘宝星辰视频生成大模型

三、更懂电商的图生视频


3.1 操作便捷

仅需输入一张静态图片,淘宝星辰可根据对图片的理解直接生成视频,也可遵循用户输入的文本描述生成视频,一键生成高质量的5秒视频。

图片
【淘宝星辰 · 图生视频】工具

3.2 更懂商品的展示手法

以更懂电商的方式展示服饰和非服饰商品,尤其是对模特动作的流畅性和专业性提升显著。

图片 图片
prompt:一个模特脸上带着酷酷的表情展示衣服

图片 图片
prompt:模特拿着咖啡,走向镜头,展示衣服

图片 图片
prompt:悬浮的气泡和水滴飘动

图片 图片
prompt:商品不动,植物随风摇动,云雾移动

3.3 更强的多语种语义遵循能力

深度理解参考图片,支持中英输入,精准捕捉文本指令中的关键动作信息,确保生成视频与用户意图高度契合。

图片 图片
prompt:模特拿手机挡着脸,对镜自拍展示衣服

prompt:男生把手搭在女生肩膀上,两人靠在一起

3.4 专业的光影效果

根据参考图片和用户,推理光线变化,生成电影质感的光影效果。

prompt:一个女人的脸部特写,创造出柔和的阴影和高光

prompt:光线缓慢移动,创造出动态的阴影,背景保持不变,突出了人物面部和装饰的微妙变化

3.5 稳定的人物、商品和装饰保持

尤其针对电商图片中常见的文字、贴纸等装饰元素,始终保持清晰、完整、无抖动或变形,提升视觉一致性。

图片 图片
prompt:一个女模特对着镜头展示衣服

图片 图片
prompt:镜头后退,女模特走向镜头,展示衣服

四、高品质低成本的原生化应用


结合解说视频、模版视频等后期剪辑类工具,实现高品质、原生化电商视频的低成本智造,应用至主流电商场景,以及泛娱乐场景。

应用1:商品主图视频供给

单张商品主图一键生成主图视频。

图片 图片
单张主图 vs 主图视频

应用2:卖点吸睛视频

根据多张模特图分别生成视频片段,采用模版视频方式制作商品短视频,添加转场、特效和文字,快速生成吸睛的产品展示视频。
图片

应用3:服饰一体化解决方案

“模特图”或“平铺图”+虚拟模特,都能轻松生成多样化服饰视频。

图片
图片
图片
图片
图片
图片
不同SKU平铺图 | 虚拟模特穿搭图 | 多SKU服饰视频

应用4:虚拟试穿视频

根据用户虚拟试穿图片一键生成虚拟试穿视频,模拟服饰的真实上身效果。

图片
用户虚拟试穿图

用户虚拟试穿视频

应用5:UGC场景视频化

UGC图片一键转为视频,提升视频供给,例如评价、买家秀、逛逛等。

图片
图片
图片

应用6:泛娱乐场景

AIGC时代可以不活但不能没活儿~

图片

prompt:超级英雄和恐龙在沙滩上慢慢散步,背景是城市的天际线


© THE END 
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]

对于小商家来说,这个工具确实很友好,操作界面简洁直观,不需要复杂的剪辑技术。官方也有一些使用教程,可以快速上手。我建议可以先从简单的图生视频开始尝试,逐步摸索不同功能。

这个还真不清楚,估计要等官方的公告了。不过从目前的趋势来看,AI视频创作工具的普及是大势所趋,未来肯定会有更多面向普通用户的工具出现。

之前用过其他一些AI视频工具,生成的视频经常会出现一些奇奇怪怪的东西,"淘宝星辰"在这方面控制得比较好,至少我目前还没遇到过太离谱的情况。引用一下问题:“会不会出现一些不符合逻辑的画面或者动作?”,我目前没看到。

希望普通用户也能尽快体验到这个功能!现在短视频这么火,如果能有一个简单易用的AI视频创作工具,肯定会很受欢迎。

就我目前的使用体验来看,"淘宝星辰"生成的视频效果还不错,挺自然的,没有明显的违和感。不过有些复杂的场景或者动作,还是需要仔细调整一下参数。

个人觉得这工具对于小商家来说简直是福音!之前想做个商品视频,要么成本太高,要么效果太差,现在有了这个工具,几分钟就能搞定一个还不错的视频,省时省力!

上手确实容易,不过要做出真正高质量的视频,还是需要一些技巧的。比如图片的选择、文本描述的精准度等等,这些都会影响最终的视频效果。多尝试,多看看其他商家的案例,应该会有不少收获。

我猜想,商家版本可能是为了收集更多的数据和反馈,以便后续更好地优化算法和功能。等功能完善之后,应该就会面向普通用户开放了。

违和感肯定是有的,毕竟是AI生成的嘛,不可能做到完全完美。但是比起其他一些工具,"淘宝星辰"已经算很不错的了,而且它一直在更新迭代,相信以后会越来越好。