西格玛男人 (@yunshen123)【Just for sharing】ResNet 全解析:残差连接如何改变深度神经网络 中发帖

blog: ResNet 论文精读 | Yun Shen 
论文原文: [1512.03385] Deep Residual Learning for Image Recognition
代码实战(有更全面的代码): Google Colab
(这几天要出远门一趟,可能要过段时间在做分享啦,想了解的提前看我blog也可以,hhh。)
ResNet
ResNet(Deep Residual Learning)由何恺明等人于 2015 年提出,通过引入残差连接解决了深度网络的退化问题,在 ImageNet 分类竞赛中以 152 层网络夺冠,是深度学习发展史上的里程碑工作。残差连接这一思想后来深刻影响了 DenseNet、Transformer 等后续架构,已成为现代深度学习的标准组件。
研究动机
深度神经网络在层数增加时面临两个关键障碍:

梯度消失/爆炸:反向传播中梯度经过多层连乘...