samzong 在 咨询下大家都是用什么工具去做模型量化 ？什么量化方式的质量比较好 中发帖
最近在玩 deepseek， 突然想找一款能力把 fp16 ，量化到 fp8,int8,int4 的工具
在 github 上翻了一圈，发现了 GitHub - ModelTC/llmc: [EMNLP 2024 Industry Track] This is the official PyTorch implementation of "LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit". 感觉是国内人搞的
想问问各位佬都是用什么方式来量化