Patchouli 在 高参数量低量化的模型和低参数量高量化的模型大家选哪个 中发帖
比如说mistral nemo 12b的q4量化和gemma2 9b的q8量化大家选哪个(包括但不限于这两个模型)
最近给在保密区内不能联网的同事推荐大模型,大家还有没有小参数量(10b)左右的模型推荐的,只支持英文的也行