RWDai想问一下佬友们 量化部署方案如何选择?VLLM/SGLANG 中发帖

或者有没有什么教程? 
问了 ai
[image]
int4 量化真的只有3% 的性能损耗吗?