CodeAtlantis 在 AI模型本地运行资源有限,优先选高精度还是大参数 中发帖
如题,现在我想在笔记本上部署模型自用,然而资源有限只有12G显存
那么我该选择用ollama下载参数少但精度高(FP16)的模型还是参数大但量化的模型
例如qwen3:8b-q4_K_M 还是qwen3:4b-fp16
请各位大佬赐教