@ronronlai我想问问,蒸馏的问题 中发帖

现在 DS 的蒸馏版本,有 qwen ,有 llama 的,意思是从 DS R1 的完整版蒸馏出来训练 qwen 7b 和 llama 8b 吗,还是反过来从 qwen/llama 蒸馏出来训练 r1 ?有什么区别? 模型的算法和框架都不一样吧?还请佬们释疑