milkhulu (@one_max) 在 本地部署的大模型,如果想快速多人同时并发运行,需要怎么配置? 中发帖
目前本地在mac mini上已完成本地部署,知识库也已经搭建,回答提问大约时间在1分30秒左右,而且只是单人使用,各位佬,知道什么样的配置,能多人并发快速响应运行知识问答嘛?
10W能不能搞定?