zgccrui 在 Ollama 运行 DeepSeek-R1-Distill 系列模型中发帖今天早上起来看到huggingface里已经有大佬将DeepSeek-R1-Distill 系列模型量化为GGUF格式，可以直接使用Ollama跑起来了，使用命令如下 Qwen 系列ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_Mollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_Mollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_Mollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:Q8_0Llama 系列ollama run hf.co/unsloth/DeepSeek-R...

zgccrui 在 Ollama 运行 DeepSeek-R1-Distill 系列模型中发帖

今天早上起来看到huggingface里已经有大佬将DeepSeek-R1-Distill 系列模型量化为GGUF格式，可以直接使用Ollama跑起来了，使用命令如下 
Qwen 系列
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:Q8_0

Llama 系列
ollama run hf.co/unsloth/DeepSeek-R...