bfloat16 在 attention is all you need 中发帖
给RealHATGAN换了一个0.7M的ViTDiscriminator上去，20k step学会基础规律，40k step直接揍爆Generator，把D的学习率砍一半才正常🤣
隔壁16M的UnetDiscriminator都不一定干得过Generator
ViTDiscriminator属实给我气笑了（血压噌噌噌往上涨）
蓝色为UnetDiscriminator，剩余都是ViTDiscriminator
[image]