杰哥 (@venjye) 在 Mac mini集群推理R1 中发帖
我想搭一个本地的大模型来帮我做code review,但是本地的M2 pro推理能力有限,还是慢了些,我还有一个M2 pro都mac mini,想把他们组一个集群出来提升模型的推理速度。大家有什么好的方案吗?
我想搭一个本地的大模型来帮我做code review,但是本地的M2 pro推理能力有限,还是慢了些,我还有一个M2 pro都mac mini,想把他们组一个集群出来提升模型的推理速度。大家有什么好的方案吗?