vfx (@freebsdfx) 在 过那么久了,llama.cpp终于正式支持多模态高精度了。 中发帖
三天前才正式支持的,把多模态图片识别之类的部分,单独独立出一个gguf文件。
我去看了一眼unsloth量化模型,好家伙,一大堆模型全部改成了新的量化版本。
现在运行需要两个文件,一个是模型gguf(量化版本),另一个是多模态高精度(float16)版本。
简单测试了一下gemma3 27,感觉效果能甩ollama的图片识别好几条街。就连官方google aistudio识别不了的图片,现在也能识别了。也许这就是float16完全体的实力。
ollama不知道什么时候能跟进,希望尽快支持吧,现在OCR识别能力也太糟糕了。