linchi 在 现在有什么本地部署模型的高性价比解决方案吗? 中发帖
本来是有一块TeslaV100来跑模型的,最近想试着把显存加大到32G,搞两张16G的NVLink互联。
再上鱼一看,霍居然涨价了,我当年裸卡某宝375入手,现在居然又回到450+了,再搞个NVLink的互联底板加起来价格和32G的版本居然差不多了……
这种洋垃圾居然还能跟着内存一起涨价,有点神奇。
所以佬们有啥推荐的解决方案吗?针对稍微大一点的模型+长上下文。我目前测试下来还得是NV,我自己的MBP跑模型速度不到V100的1/4.