have (@planbAbc) 在 请教大佬,模型私有化部署的显存怎么预估才有参考意义呢 中发帖

我是一个做方案的战五渣,模型啥都懂一点,但不深 

现在接触的很多项目,都要搞算力自己部署模型
项目给过来的需求都是:

模型是哪个
模型参数量多少
部署做什么量化
并发数多少
最长是多少k的会话


比如:

部署DeepSeek的v4 flash
参数量284B。
做FP/in8量化
并发100
会话上下文1M


模型部署大概需要300G显存,这个好预估,因为int8是接近1:1
但并发、上下文长度、KV缓存这些参数的显存消耗,怎么预估合适呢
并且首token的耗时,怎么预估和降低呢(听说融合部署会降低)

有大佬指教一下么,或者有没有什么skill可以参考的呢