Tiki Android 在 好消息,3090算力破解成功了 中发帖

坏消息,只有FP/BF16的算力破解成功,对于低精度量化模型的推理场景没有提升。 
[屏幕截图_20261025_091212]
顺便用sglang跑了两个小一点的不同量化方式的模型,一个BF16,一个FP8,都对比破解前后的实际提升:
[屏幕截图_20261025_100511]
[屏幕截图_20261025_101847]