@hexovi 在 分享下本地语音模型的 中发帖

最近刷视频有点累了,就想把想看的视频直接转成文字,先扫一遍,再决定值不值得花时间看原片。 
选型翻了下有两种


SenseVoice(sherpa-onnx 推理,int8 量化,模型 228MB)


whisper.cpp + large-v3-turbo(模型 1.5G)



测了一轮90秒的音频




方案
结果




SenseVoice
2秒出全文,带标点,断句基本都正确


whisper
9秒,整体也能识别



第一个坑
一开始丢一个20分钟的音频进去,发现直接卡死,但是又不报错,拿着ds大人排了半天说:

查阅 SenseVoice 官方文档后发现,SenseVoiceSmall 直接推理接口的音频输入时长限制为 30 秒及以下。

随后改成分段处理,每段 28 秒、留 2 秒余量,再跑就快多了
第二个坑
分段转出来的文字如果直接拼接,段落之间会丢...