XGCoder 在 本地部署的两个模型,为啥差别这么大? 中发帖
今天开工第一天, 在公司本地部署了一个 DeepSeek-R1-Distill-Qwen-32B-GGUF, 用着挺好, 沟通也还比较顺畅,唯独就是不能联网,暂还没有找到好的解决办法
晚上回来后看电脑能部署 70B的,就部署了一个 DeepSeek-R1-Distill-Llama-70B-GGUF,结果我问个问题,这货在一个字一个字的往外蹦。。。 🙈 5分钟了还在蹦
ps: 公司是一个 Mac studio,32G内存, 家里是自组的Win 64G内存 + 4060的16G显卡