@alucard 在 AMD 780M核显强行跑deepseek R1 14B Q4_K_M 中发帖过完年该忙的都忙完了刚好有个nuc空闲就想着自己玩下本地化；出发点是想试试让核显尽可能占用更多的系统内存；结果光是ROCM+hip+vulcan+库依赖梳理让核显上班就够折腾的了，ubuntu降级硬装了个GUI； 1、测试结果是6-7token/s 纯GPU cpu几乎没参与计算； 2、模型是deepseek-r1-distill-qwen-14b Q4_K_M，质量和官方只能说是相对接近，感觉还是有些许差距； 3、大块的系统内存gpu并没办法调用bios锁死了8G，下一步想通过工具改bios设置偏移量再刷写试试； [图片] [图片] [图片]

@alucard 在 AMD 780M核显强行跑deepseek R1 14B Q4_K_M 中发帖

过完年该忙的都忙完了刚好有个nuc空闲就想着自己玩下本地化； 
出发点是想试试让核显尽可能占用更多的系统内存； 
结果光是ROCM+hip+vulcan+库依赖梳理让核显上班就够折腾的了，ubuntu降级硬装了个GUI； 
1、测试结果是6-7token/s   纯GPU cpu几乎没参与计算； 
2、模型是deepseek-r1-distill-qwen-14b Q4_K_M，质量和官方只能说是相对接近，感觉还是有些许差距； 
3、大块的系统内存gpu并没办法调用bios锁死了8G，下一步想通过工具改bios设置偏移量再刷写试试； 
 [图片] 
[图片] 
[图片]