yes_ok国产GPU部署大模型求助~ 中发帖

由于羡慕隔壁组自己部署的本地的ds-flash,所以从公司的实验室整了点物料组了个服务器,准备本地部署个大模型给我们组的人用下,但是实在没啥经验,下面是具体的配置,有没有佬指导下, 
希望模型能力强一些,最好是最新的deepseek-flash 🥹
硬件配置




项目
规格




CPU 型号
Hygon C86-4G (OPN:7470) × 2 路(96 核 / 192 线程)


内存型号
DDR5-5600 MT/s ECC(CXMT 长鑫)


内存容量
16 × 64 GB = 1024 GB


硬盘容量
SAMSUNG MZ7L3480 SSD 447.1 GB (临时随便拿的手头的硬盘,还可以加,基本没啥上限)


GPU
国产海光K100 64G 8块



佬们看看这个配置能配个最新的开源模型供八九个人用吗?有没有指导啥的?需要部署模型+AI网关
下午下班...