lyzyyy 在 大模型选择推荐 中发帖
大模型本地分布式集群部署,公司最近弄个两台4卡64g显存的机器,所以总的显存是64x8,想在本地部署一个常用的大模型,之前是在a800单卡部署过qwen2.5 32b,72b的量化版本,以及deepseek蒸馏版, 现在显存上来之后,考虑deepseek满血版资源肯定不够,所以是想着从日常实用性,以及大模型效果,function call支持,部署deepseekv3.1 量化版本怎么样,或者其他开源大模型榜单靠前的模型,Qwen3-235B-A22B-Thinking-2507,跪求大家有没有这方面经验的指教一二,方向选择上,感谢