Colin (@colingao)将 [视频、文本、图像] 自动生成对应的音频 中发帖

视频生成缺乏很好的音频
现在有各种各样的视频生成模型,比如可灵比如 wan2.1 这种,但是他们都没有生成音频。然后还要去找合适的资源去匹配,这很麻烦,也很不 fashion.所以需要有这样的模型能够更具视频、文字、图像能够理解并自动生成对应的音频、英语,这就很棒了。
现有的音频生成模型对比
现在开源的视频转音频模型有不少,比如mmaudio、audiox。这两个各有优劣。mmaudio 只能实现视频转音频、文字转音频,而 audiox 不仅可以实现视频转音频、文字转音频,还可以实现视频转英语、文字转音乐、图像转视频和音乐。只不过 audiox 更多元化。
AudioX 的例子
[audiox-usercase]
具体的例子可以去用户例子去看看,效果确实不错,可以实现视频转音频、文字转音频、视频转英语、文字转音乐、图像转视频和音乐等功能,都是基于扩散模型实现的。
可以去体验体验,...