害你的猪 (@zhousp666) 在对量化模型Qwen3-14B-AWQ进行微调后无法合并导出中发帖用ms-swift对Qwen3-14B-AWQ进行了微调，但是合并导出失败，错误是 File "/root/anaconda3/envs/ms-swift/lib/python3.11/site-packages/peft/tuners/tuners_utils.py", line 937, in merge raise NotImplementedErrorNotImplementedError询问了AI的解释是： AWQ 量化模型的 LoRA 权重合并默认不支持直接 merge_and_unload()

害你的猪 (@zhousp666) 在对量化模型Qwen3-14B-AWQ进行微调后无法合并导出中发帖

用ms-swift对Qwen3-14B-AWQ进行了微调，但是合并导出失败，错误是 
File "/root/anaconda3/envs/ms-swift/lib/python3.11/site-packages/peft/tuners/tuners_utils.py", line 937, in merge
    raise NotImplementedError
NotImplementedError

询问了AI的解释是： 
AWQ 量化模型的 LoRA 权重合并 默认不支持直接 merge_and_unload()。 
原因：AWQ 权重量化后（int4/int8）会破坏部分线性层结构，PEFT 无法直接在量化权重上进行 merge。 
交互式推理是可以正常问答的 
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 swift infer --ckpt_...