@longgle 在 如何优雅的在RTX3060上搭建一套完整的实时的数字人问答服务? 中发帖

突发奇想想要在上古显卡上搭建一套完全离线的数字人问答系统,我大概想到需要的模型,ASR,LLM,TTS,数字人对口型,全部堆在一张12G的显卡有点夸张吧…… 
ASR如果使用funasr系列应该会占用2G
LLM如果使用ollma跑0.6B的会占6G
TTS如果使用Qwen3-TTS0.6B会占4G
那么极大可能会OOM
这还没有算对口型的模型,还不敢使用Dinet网络,怎么办怎么办?
有没有大佬懂的?
有没有更优雅的方式
啊啊啊啊啊啊啊啊