yhp666 在 做个纯CPU推理的实验 中发帖
今天看到各种几万块钱搞定满血Deepseek-R1的方案,到底这种纯cpu的方案是否可行呢?实践出真知,给各位佬省省宝贵时间。
这是ollama上下载的4bit量化版Deepseek-R1:671b 讲真这还是打折的满血r1因为我实在找不到1.4TB内存的服务器了 😂
[image]
1分22秒啊,就问了个好…大概感觉平均1秒都吐不出1个字来
再上机器配置,这机器现在2手看成色大概不到10万
Server : Dell PowerEdge R830
CPU : Intel(R) Xeon(R) CPU E5-4660 v4 @ 2.20GHz *4 (128 core)
Memory : 16GB 2400MHz DDR4 *32
所以各位佬想想那些能免费提供满血Deepseek-R1:671b的公司都得多豪横?图什么呢?