@flip 在 为什么同一模型q4量化比q8量化输出的要多 中发帖
[image]
分别用qwq 32b q4版本和q8版本测试 问题以及上下文长度,温度采样全部一致
q4输出
[image]
q8输出
[image]
难道不是模型越大输出越详细嘛哈哈
[image]
分别用qwq 32b q4版本和q8版本测试 问题以及上下文长度,温度采样全部一致
q4输出
[image]
q8输出
[image]
难道不是模型越大输出越详细嘛哈哈