fix: 4.6.5.3.3 格式

This commit is contained in:
camera-2018
2023-04-22 14:17:45 +08:00
parent 66cbc04f27
commit 7d42aa5577

View File

@@ -1,13 +1,13 @@
# ResNet
::: warning 🕶
残差神经网络(ResNet)是由微软研究院的何恺明大神团队提出的一个经典网络模型,一经现世就成为了沿用至今的超级 Backbone。
:::
[知乎](https://zhuanlan.zhihu.com/p/101332297)
[论文](https://arxiv.org/pdf/1512.03385.pdf)
# WHY residual?
## WHY residual?
::: warning 🎨
在 ResNet 提出之前,所有的神经网络都是通过卷积层和池化层的叠加组成的。
人们认为卷积层和池化层的层数越多,获取到的图片特征信息越全,学习效果也就越好。但是在实际的试验中发现,随着卷积层和池化层的叠加,不但没有出现学习效果越来越好的情况,反而出现两种问题:
@@ -20,23 +20,24 @@
- 退化现象
如图所示,随着层数越来越深,预测的效果反而越来越差(error 越大)
:::
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnBDfBnOPmS0btwNseKvsN6f.png)
# 网络模型
## 网络模型
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnn8a16DYyEPEVuHxvvw7eAf.png)
::: warning 😺
我们可以看到ResNet 的网络依旧非常深,这是因为研究团队不仅发现了退化现象,还采用出一个可以将网络继续加深的 trickshortcut亦即我们所说的 residual。
- 为了解决梯度消失或梯度爆炸问题ResNet 论文提出通过数据的预处理以及在网络中使用 BNBatch Normalization层来解决。
- 为了解决深层网络中的退化问题,可以人为地让神经网络某些层跳过下一层神经元的连接,隔层相连,弱化每层之间的强联系。这种神经网络被称为 残差网络 (ResNets)。ResNet 论文提出了 residual 结构(残差结构)来减轻退化问题。
## residual 结构
:::
### residual 结构
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnhgVaLChu3O2omGJKzFU7uB.png)
# 网络代码
## 网络代码
```python
import torch.nn as nn
@@ -194,14 +195,17 @@ def resnet101(num_classes=1000, include_top=True):
'''
```
# 视频
## 视频
# 思考
https://www.bilibili.com/video/BV1P3411y7nn
## 思考 1
## 思考
### 思考 1
::: warning 🤔
请你自行了解网络结构中的 BNBatch Normalization这是很重要的一个 normalization 操作,如果感兴趣还可以继续了解 LN (Layer Normalization)
## 思考 2
:::
### 思考 2
::: warning 🤔
你觉得论文中提出用 residual 这一解决方法来解决网络的退化现象的依据是什么,如果可以,请你进一步尝试用数学角度思考这一问题
:::