Schrödinger (@synbio)字节跳动终于开源了LatentSync:精准的唇形同步工具 中发帖

字节跳动终于开源了LatentSync:精准的唇形同步工具 
可以根据音频输入,自动调整视频中角色的嘴型,实现精准的口型同步。
直接用声音驱动嘴巴的动作,不需要复杂的中间步骤。
提出了一种“时间对齐”的技术,专门解决画面可能会跳动或不一致的问题。
左:原视频,右:口型同步后
提供了全套工具,可以轻松处理视频和音频,比如调整帧数、检测人脸、去除质量差的视频,保证最终生成的视频效果很好。

[image]