最近deepseek蒸馏openai的事情有点沸沸扬扬。看了一下L站好像没有专门讲知识蒸馏这玩意到底是什么的帖子。今晚看了一些资料打算分享一下自己的收获，也方便佬友评判deepseek这件事。 
注，本人并非计算机专业大佬，只是简单分享自己认知中的knowledge distillation是什么。欢迎各位大佬讨论并指正。对于可能产生的误解本人深表歉意 
知识来源： 

Knowledge distillation - Wikipedia
https://www.youtube.com/watch?v=gADXP5daZeM (大部分图片引用自此视频）
[1503.02531] Distilling the Knowledge in a Neural Network
chatgpt-4o

正文 
大模型对于许多应用场景来说显得有些过大了，比如说汽车自动驾驶。如果我们直接把大模型下放到汽车...