@Shadowroom 在 deepseek r1本地部署求教 中发帖
今天有时间搞本地部署了,先说一下我的配置:
cpu: Intel(R) Xeon(R) Gold 5218 CPU @ 2.30GHz
内存:128G,3200Mhz
显卡:A6000 48G
硬盘:3.6T 机械硬盘
系统:Ubuntu24.04
1.部署用docker合适还是直接conda合适?
2.还想暴露端口供实验室的同学们一块用,这一步不太清楚怎么弄
3.48G显存打算只用一半,剩下24G用来做其他任务,这里可能是32B?想多听点佬友们的建议
4.LM Studio和Ollama哪个更合适,有什么区别?
我更倾向于用docker部署,感觉更便于管理,是不是用Ollama的镜像创建容器然后创建32B的模型就可以了?
希望各位佬友给点思路,多谢啦!