@hexovi 在 分享下本地语音模型的 中发帖
最近刷视频有点累了,就想把想看的视频直接转成文字,先扫一遍,再决定值不值得花时间看原片。
选型翻了下有两种
SenseVoice(sherpa-onnx 推理,int8 量化,模型 228MB)
whisper.cpp + large-v3-turbo(模型 1.5G)
测了一轮90秒的音频
方案
结果
SenseVoice
2秒出全文,带标点,断句基本都正确
whisper
9秒,整体也能识别
第一个坑
一开始丢一个20分钟的音频进去,发现直接卡死,但是又不报错,拿着ds大人排了半天说:
查阅 SenseVoice 官方文档后发现,SenseVoiceSmall 直接推理接口的音频输入时长限制为 30 秒及以下。
随后改成分段处理,每段 28 秒、留 2 秒余量,再跑就快多了
第二个坑
分段转出来的文字如果直接拼接,段落之间会丢...