16:00 · Mar 24, 2025 · Mon
@CitizenZhou 在 两张 3060 12G 怎么利用双卡部署大模型啊？ 中发帖

两张 3060，但是用 vllm 或者 ollama 部署模型好像只能用到一张卡，大佬们有没有好的解决方案，能不能让这两张张卡并行计算呢？