@xlcheer 在 两张 Tesla A100 共 80G 显存,300G+ 内存,使用 ollama 本地部署 DeepSeek R1 32B 非量化版为何效果和在线 API 差距很大 中发帖
在线 API (硅基流动 / 阿里百炼)能正确解读数据,正确识别意图,而本地部署版本就非常呆。(尝试过 ollama 直接下载的 ds distill qwen 32b fp16 版本和 modelscope 下载并导入到 ollama 的 ds distill qwen 32b 非量化版,效果都是很差),有佬有有这方面经验吗