F-droid 在 分享一个新发现!Hugging Face Hub 支持直接用 Ollama 跑 GGUF 模型! 中发帖
今天打开 Hugging Face打算部署项目时,意外发现了一个新功能:现在可以直接通过 Ollama 跑 Hugging Face Hub 上的 GGUF 模型!🤯
当时点进去看了一下,第一眼感觉就和 Docker Hub很像,整个流程非常简洁,就像是 Hugging Face Hub 成为了 Ollama 的第三方镜像源一样,直接拉取模型就能跑。根据官方的介绍,只需要一个简单的命令就可以运行 GGUF 模型,非常方便:
ollama run hf.co/{username}/{repository}
目前 Hugging Face Hub 上已经有 45K 多个公开的 GGUF 检查点可以用 Ollama 直接运行,还支持自定义量化类型和聊天模板,功能非常强大。对于需要本地跑 LLM 模型的开发者来说,这无疑是个好消息。
感觉 Hugging Face Hub 真的是越来越强大...