Deslord 在 想自部署一个120b家用模型,选购机器中,求佬给点建议 中发帖
目前在犹豫dpg spark 还是等mac studio。
Macstudio 情况不容乐观,内存版本一砍再砍。
有没有玩过关注过的佬可以给点建议,
1.期望能达到50tokens/s以上,最好100tokens/s
2.能拓展,后续可以追加机器
3.能耗低
ps:已经订阅了gpt pro5x。自部署主要是为了追求速度和原生长程任务的连续执行。