一些模型对量化容忍度比较高，另一些模型又不是。就好比给人类大脑开刀，目的是为了切除肿瘤，问题是这一刀下去，完全是黑盒状态，运气好就丧失一些记忆，语言逻辑是没问题的。运气不好，那直接变智障了。 
最近AI消费级的新模型很多，但不量化，无法在普通显卡上运行。只能挨个尝试，心累。 
本来对GEMMA3期望很高，无奈对比别的同参数模型，推理速度也太慢了，几乎放弃了。