天哥在写bug (@chengtx)只有4g显存能跑7b int4量化llm吗 中发帖

rt,参加教育局的agent比赛 
要求自部署qwen-7b-chat-int4 (没错就是这个两年前老掉牙的模型
翻遍我在的整个高中就找到学校有一台8th i5 + 16g ram + rtx 1050ti
有办法在这么极限的环境下部署吗,请教下有什么方法 :tieba_087:
[image]