@Stardust1 在 蒸馏对AI的发展到底有益吗? 中发帖

从目前的情况下蒸馏能确保一个模型的下限,不会被顶级模型甩的太远。但目前看光靠蒸馏看起来永远没办法超越被蒸馏的模型。大家觉得目前这种全民蒸馏的训练方式对AI的长期发展真的有益吗?