爆火开源语音黑科技ChatTTS:3天吸6K,可复刻绝版声音,中英文混说无界

原文标题:爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

原文作者:机器之心

冷月清谈:

**ChatTTS 重要特性** - 自然流畅的语音合成 - 支持多种说话人 - 可预测和控制细粒度的韵律特征(笑声、停顿、插入词等) - 支持中文和英文 - 最大模型训练时长超过 10 万小时

ChatTTS 主要功能

  • 文字转语音:将文本转换成语音
  • 实时语音对话:与大语言模型实时语音对话

ChatTTS 使用指南

  • 在线体验地址:Chattts Zero - a Hugging Face Space by Dzkaka
  • 输入文本后,ChatTTS 会自动生成韵律和停顿,并加入语气词
  • 输入 [laugh] 和 [uv_break] 可手动控制 ChatTTS 在说话间加入笑声和停顿

ChatTTS 限制

  • 目前还不能生成超过 30 秒的音频
  • 分词有时会出现问题



怜星夜思:


1、ChatTTS 的技术原理是什么?
2、ChatTTS 在语音克隆方面有哪些应用场景?
3、ChatTTS 在语言学习方面有哪些潜力?

原文内容

机器之心报道
编辑:陈萍、佳琪
未来人与人的交流,难道是这个样?


近日,一个名为 ChatTTS 文本转语音项目爆火出圈,引来大家极大的关注。短短三天时间,在 GitHub 上已经斩获了 9.2 k 的 Star 量。


项目地址:https://github.com/2noise/ChatTTS/tree/main


作者本人也在 x 上表示,ChatTTS 突破了开源天花板。不过,目前开源的只是底模,没有经过 SFT 监督微调。


该项目将文本转换成语音,效果是这样的:


ChatTTS 不仅能说中文,英文也能 hold 住,还支持一些细粒度控制,它允许你加入笑声、说话间的停顿,还有语气词,可玩性很强。


它可以复刻已经逝去的人的绝版声音,想要再听到乔布斯开发布会,随时都可以。听它模仿霉霉的音色,不论是语调还是语气的变化,都挺接近本人,几乎听不出来 AI 味儿。


中英文混说也能拿捏,这口半英半中的腔调勇闯留子圈,ChatTTS 的语言能力已达到 next level。


以上音频来自 B 站: https://www.bilibili.com/video/BV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbce3c28

从上述展示中我们可以看出,ChatTTS 能够实现自然流畅的语音合成,同时支持多说话人;还能预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等;ChatTTS 在韵律方面超越了大部分开源 TTS 模型。


目前 ChatTTS 支持中文和英文。最大模型使用了超过 10 万小时的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。


值得一提的是,上述展示的音频都是基于语音合成技术制作,旨在展示技术成果,无意冒犯或侵犯他人权益。


项目一经发布,各路网友纷纷试用起来,给出了声音确实真假难辨。


还有人拿 GPT 生成文本,让 ChatTTS「读」出来,语气语调和真人的差距非常小:


效果这么好,自然是想要上手试试。怎样才能用 ChatTTS 当你的嘴替,可以参考如下方法进行操作。


在线体验地址:https://huggingface.co/spaces/Dzkaka/ChatTTS


ChatTTS 主要有两种核心功能,第一种是文字转语音,第二种是将与大语言模型实时语音对话。在这些功能之外,可以在「Audio Seed」处调节数字指定说话人的音色,或者摇骰子随机生成一种。但是有不少测试者表示,每次采用一样的参数,生成的音色也不一定固定。


2Noise 称,目前支持音色克隆,但需要更大的数据量。


在文本框内输入文本后,ChatTTS 会自动为你生成韵律和停顿,还会加入一些如「然后」之类的语气词。如果你在输入时在文本中加入 [laugh] 和 [uv_break],就能手动控制 ChatTTS 在说话间产生一些「笑果」。


不过 ChatTTS 现在还不能搞定比较长的文本,有网友让它挑战了一下有声书,发现初始版本不能生成超过 30 秒的音频,需要手动修复。遇到比较长的文本时,ChatTTS 的分词也会出问题。


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

ChatTTS 可用于修复历史录音,使受损或失真的人声重新焕发生机。

ChatTTS 可用于创建交互式语言学习应用程序,为学习者提供实时反馈,帮助他们纠正发音错误。

ChatTTS 可用于创建个性化的语音助手,让虚拟助理能够用特定个人的声音说话,提升用户体验。

ChatTTS 的核心技术是预测控制编码器(PC-ENCODER),它可以预测和控制语音的细粒度韵律特征,比如笑声、停顿和插入词等。

ChatTTS 可以帮助语言学习者练习发音和语调,让他们的口语更加流利地道地。

ChatTTS 可以生成不同口音和方言的语音,让语言学习者接触多种语言变体,拓宽语言技能。

ChatTTS 采用了端到端文本转语音(TTS)技术,利用神经网络模型将文本直接映射到语音波形。该模型通过大量语音数据集进行训练,学习了语音的语音学和韵律特征。

ChatTTS 采用了先进的声码器模型,可以生成高质量、自然流畅的语音。它使用了 Transformer 架构,能够捕捉文本的上下文信息,并生成符合语意的语音。

ChatTTS 可用于为影视作品、游戏和动画配音,创造出逼真而有表现力的角色声音。