诸葛村夫 (@Raven) 在 RAG本地模型选择哪个好? 中发帖
由于硬件限制V100 16G显存,想要布署一个本地Qwen模型,想知道全精度Qwen7B 和 量化14B用哪个好,要求对中文的RAG文档回复准确度高优先。或者有没有其它的模型推荐 :tieba_002:
由于硬件限制V100 16G显存,想要布署一个本地Qwen模型,想知道全精度Qwen7B 和 量化14B用哪个好,要求对中文的RAG文档回复准确度高优先。或者有没有其它的模型推荐 :tieba_002: