司马老贼 (@glacier) 在 两张a6000本地部署什么模型好？ 中发帖
佬们看看，本地部署啥模型好
本地配置：
CPU:12 CPUs x Intel(R) Xeon(R) Silver 4310 CPU @ 2.10GHz
GPU:Nvidia A6000(48G)*2
内存：256G DDR4