@bigice 在 又被震惊了,专属硬件配专用模型真的未来可期 中发帖
最近在研究语音转录,设备是M4 Mac mini,一段20分钟的录音转成文本,最快需要多长时间?4秒,你没听错,就是4秒。
事情是这样的,我先测了几个主流asr,选择了qwen3asr0.6b模型,一开始20分钟花了2分钟转录完成,感觉已经很满意了,但用于视频总结感觉还是太慢,于是就找了各种量化版,mlx版测试,最终优化到30秒。
有一天,我把一段录音放到备忘录里,本身想着用来同步到手机的,结果突然发现备忘录有了转文本功能,而且是瞬间完成的,我以为是苹果云端发力了,当时想着云端就是快啊。后来转念一想,不对啊,苹果不是强调本地ai加隐私的吗,怎么随便上传用户录音呢,于是查了下,没想到竟然是本地模型。
然后就让 agent 调研了一下,用的技术是苹果专门训练的小模型加神经网络引擎ANE推理,20分钟只需4秒就能转录完毕。
至此,我下两个判断:1. 专用模型配专属硬件上限极高 2. 苹果...