fix: 4.6.5.3.3 格式
This commit is contained in:
@@ -1,13 +1,13 @@
|
||||
# ResNet
|
||||
|
||||
::: warning 🕶
|
||||
残差神经网络(ResNet)是由微软研究院的何恺明大神团队提出的一个经典网络模型,一经现世就成为了沿用至今的超级 Backbone。
|
||||
|
||||
:::
|
||||
[知乎](https://zhuanlan.zhihu.com/p/101332297)
|
||||
|
||||
[论文](https://arxiv.org/pdf/1512.03385.pdf)
|
||||
|
||||
# WHY residual?
|
||||
|
||||
## WHY residual?
|
||||
::: warning 🎨
|
||||
在 ResNet 提出之前,所有的神经网络都是通过卷积层和池化层的叠加组成的。
|
||||
人们认为卷积层和池化层的层数越多,获取到的图片特征信息越全,学习效果也就越好。但是在实际的试验中发现,随着卷积层和池化层的叠加,不但没有出现学习效果越来越好的情况,反而出现两种问题:
|
||||
|
||||
@@ -20,23 +20,24 @@
|
||||
- 退化现象
|
||||
|
||||
如图所示,随着层数越来越深,预测的效果反而越来越差(error 越大)
|
||||
|
||||
:::
|
||||

|
||||
|
||||
# 网络模型
|
||||
## 网络模型
|
||||
|
||||

|
||||
|
||||
::: warning 😺
|
||||
我们可以看到,ResNet 的网络依旧非常深,这是因为研究团队不仅发现了退化现象,还采用出一个可以将网络继续加深的 trick:shortcut,亦即我们所说的 residual。
|
||||
|
||||
- 为了解决梯度消失或梯度爆炸问题,ResNet 论文提出通过数据的预处理以及在网络中使用 BN(Batch Normalization)层来解决。
|
||||
- 为了解决深层网络中的退化问题,可以人为地让神经网络某些层跳过下一层神经元的连接,隔层相连,弱化每层之间的强联系。这种神经网络被称为 残差网络 (ResNets)。ResNet 论文提出了 residual 结构(残差结构)来减轻退化问题。
|
||||
|
||||
## residual 结构
|
||||
:::
|
||||
### residual 结构
|
||||
|
||||

|
||||
|
||||
# 网络代码
|
||||
## 网络代码
|
||||
|
||||
```python
|
||||
import torch.nn as nn
|
||||
@@ -194,14 +195,17 @@ def resnet101(num_classes=1000, include_top=True):
|
||||
'''
|
||||
```
|
||||
|
||||
# 视频
|
||||
## 视频
|
||||
|
||||
# 思考
|
||||
https://www.bilibili.com/video/BV1P3411y7nn
|
||||
|
||||
## 思考 1
|
||||
## 思考
|
||||
|
||||
### 思考 1
|
||||
::: warning 🤔
|
||||
请你自行了解网络结构中的 BN(Batch Normalization)层,这是很重要的一个 normalization 操作,如果感兴趣还可以继续了解 LN (Layer Normalization)
|
||||
|
||||
## 思考 2
|
||||
|
||||
:::
|
||||
### 思考 2
|
||||
::: warning 🤔
|
||||
你觉得论文中提出用 residual 这一解决方法来解决网络的退化现象的依据是什么,如果可以,请你进一步尝试用数学角度思考这一问题
|
||||
:::
|
||||
Reference in New Issue
Block a user