@sdllzy求助本地部署大模型选择 中发帖

公司运维今天问我,公司本地部署大模型的选择(单机非集群),希望大家能给点意见: 
硬件:内存4T,显存8*141,不能连外网(模型自身能力要强一些?)
需求:

主要是代码能力,研究环境下用的多的应该也就是python(包括一些包比如numpy, pandas, polars这类的)。
6,70号人,应该也会需要高并发?
可能需要考虑上下文长度

本来机器买来是为了部署满血deepseek-r1的,然后说看看有没有什么更好的模型。目前的话除了deepseek还考虑kimi k2.5, GLM 4.7, minmax 2.1这些。(另外因为是量化行业,不知道deepseek在语料上会不会有天然的加成hh)
想请教大家一下在coding场景下,你们实际用下来觉得哪一类模型综合最强、最稳? 量化(INT8 / INT4)对代码质量影响大不大?是否值得为了并发和吞吐牺牲一点精度?有没有踩过坑...