菜包哥 (@caibaoge) 在 最强日语转中文字幕AI模型 中发帖
这几天有聊到AI转字幕的方案,现有的大部分方案都是基于Whisper制作的。
Whisper是在2022年9月推出,早期的方案,例如WhisperDesktop和Buzz,效果都比较差,还要想办法去做翻译。
后来主要用的是PotPlayer通过ollama调用Whisper,转写完字幕后使用PotPlayer的实时翻译,使用百度和谷歌的API,这个方案的时间损耗是比较高的,同时API的实时翻译会存在较大的时间差问题。
后来遇到了SmartSub,它的方案是直接调用Whisper转写字幕,在通过ollama跑本地的大模型或者通过API调用在线大模型,这个方案是相对成熟的,SmartSub本身是个制作字幕的工具,本质上和PotPlayer通过ollama调用Whisper是差不多的,主要是翻译的步骤,通过API调用在线大模型会有NSFW限制的问题,ollama跑本地的大模型又有算力的问题...