mikey (@mikeee) 在 kaggle CPU 30GB 跑 Ornith-1.0-35B-GGUF 中发帖[a44acdd71b1fb07e7af8598d96ec0220] [fd2bda6d52e617358372f1d803a3d446] 翻译好像还不错，5tps CPU 15GB的话（例如免费colab）可以跑 Ornith-1.0-9B-GGUF，能到 3tps，翻译质量目测和Ornith-1.0-35B-GGUF差不多

mikey (@mikeee) 在 kaggle CPU 30GB 跑 Ornith-1.0-35B-GGUF 中发帖

[a44acdd71b1fb07e7af8598d96ec0220] 
[fd2bda6d52e617358372f1d803a3d446] 
翻译好像还不错，5tps 
CPU 15GB的话（例如免费colab）可以跑 Ornith-1.0-9B-GGUF，能到 3tps，翻译质量目测和Ornith-1.0-35B-GGUF差不多。 上 T4 GPU 的话能到 35tps