吸猪大王 (@wxbigpigfoot) 在 想咨询一下佬们的公司是怎么部署大模型的 中发帖

如题,想问一下佬们公司都是怎么部署大模型的,非硬件层面,而是软件层面,像个人的我知道有ollama,LM Studio这些,但是用在生产环境就不那么靠谱了,然后现在我们公司用的是Xinference,能一键管理模型、下载模型、启动模型等等,还提供接口供外部调用,但是就是说基础的镜像就很大了,一个Xinference的基础镜像(不包含模型)都有20+G大小了,加上业务原因,需要给客户公司本地部署,这样传来传去感觉效率就很慢了,所以想问一下佬们公司层面的大模型部署方案都有啥 🤔