咪叭 (@ChiyoSekai) 在 买了个 228V 迷你主机之后 的一顿折腾 (现在用的 GEMMA 4 26B 中发帖

前俩天花了 3350 还是痛下杀手 买了个 228v的 联想迷你主机 (32 + 1t) 
硬件配置
32G DDR5 8533的内存还是感觉很不错的
这个固态看是三星的 结果是QLC 不过还好吧,性能还行
NPU有点用但不多 还在研究
现状
部署了G4-MeroMero-26B-A4B-it-uncensored-heretic-GGUF q5ks
其实感觉或者 q4km应该压力会小一点?多一些内存吧
这个模型还行,不过有些时候还得开下思考,不过不开思考也行,chat挺好的
部署细节
用的llama.cpp, vulkan后端(sycl测出来表现比vulkan差,奇怪
图片编码有bug 让gpt改到openvivo那边了,快了一倍多,之前11张图要70秒变成了30秒(max token 512) 不过其实开768也行 有openvivo这么快的话
16k上下文的prefi...