yhp666手搓Ktransformer运行Deepseek-r1:671b_Q2_K_XS 中发帖

1、一定要仔细看官方文档,虽然前后有点绕嘴,但是实际上已经把需要注意的点交代清楚了。 
2、没有256GB的物理内存,没有16GB的显存就可以放弃了。就算是2bit量化版本,也不是随便找个机器就能运行的。
3、或多或少也得有点基础,对于0基础纯靠gpt、claude、deepseek就想搞定私有化部署恐怕还有点困难。
4、这种环境也就是自己dev耍耍而已,真正企业应用甚至商业化去售卖绝对使不得。
详细文档如下:
ktransformer测试.pdf (462.3 KB)