ml_z 在 本地部署的模型都能干啥呢 中发帖

现在有一个128GB内存的服务器,跑了几个本地的模型,最快的能到40toknes/s,但是对接智能体用起来断断续续的,根本不能用,咨询一下,本地部署的模型都能干啥,感觉本地部署没有什么用呢