飘叶 (@wslsj888) 在 本地大模型部署:gemma-4-12B-agentic-fable5/Qwythos-9B-Claude-Mythos-5 中发帖
最近发现了两个蒸馏了fable5的小模型
gemma-4-12B-agentic-fable5
Qwythos-9B-Claude-Mythos-5
都是本地8GB显存能跑的存在,支持工具调用,可以部署来养虾,或者跑claude code都可以
下载llama.cpp,然后命令一键启动即可。8G显存我最多拉到64K上下文,再多就动不了了。