今天在网上看到一个VRAM计算工具 
https://apxml.com/zh/tools/vram-calculator 
测试了一下，选择如下配置： 
 [image] 
显示全量微调Qwen2.5-7B大概要108G显存（它没有给选择ZeRO级别的地方，照理来说估算值应该偏大） 
然后我实机测试了一下，使用ms-swift框架： 
nproc_per_node=8

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
NPROC_PER_NODE=$nproc_per_node \
swift sft \
    --model Qwen/Qwen2.5-7B \
    --train_type full \
    --dataset 'swift/self-cognition#1000' \
    --torch_dtype bfloat16 \
 ...