fix: 4.6.5.3.3 格式

This commit is contained in:
camera-2018
2023-04-22 14:17:45 +08:00
parent 66cbc04f27
commit 7d42aa5577

View File

@@ -1,13 +1,13 @@
# ResNet # ResNet
::: warning 🕶
残差神经网络(ResNet)是由微软研究院的何恺明大神团队提出的一个经典网络模型,一经现世就成为了沿用至今的超级 Backbone。 残差神经网络(ResNet)是由微软研究院的何恺明大神团队提出的一个经典网络模型,一经现世就成为了沿用至今的超级 Backbone。
:::
[知乎](https://zhuanlan.zhihu.com/p/101332297) [知乎](https://zhuanlan.zhihu.com/p/101332297)
[论文](https://arxiv.org/pdf/1512.03385.pdf) [论文](https://arxiv.org/pdf/1512.03385.pdf)
# WHY residual? ## WHY residual?
::: warning 🎨
在 ResNet 提出之前,所有的神经网络都是通过卷积层和池化层的叠加组成的。 在 ResNet 提出之前,所有的神经网络都是通过卷积层和池化层的叠加组成的。
人们认为卷积层和池化层的层数越多,获取到的图片特征信息越全,学习效果也就越好。但是在实际的试验中发现,随着卷积层和池化层的叠加,不但没有出现学习效果越来越好的情况,反而出现两种问题: 人们认为卷积层和池化层的层数越多,获取到的图片特征信息越全,学习效果也就越好。但是在实际的试验中发现,随着卷积层和池化层的叠加,不但没有出现学习效果越来越好的情况,反而出现两种问题:
@@ -20,23 +20,24 @@
- 退化现象 - 退化现象
如图所示,随着层数越来越深,预测的效果反而越来越差(error 越大) 如图所示,随着层数越来越深,预测的效果反而越来越差(error 越大)
:::
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnBDfBnOPmS0btwNseKvsN6f.png) ![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnBDfBnOPmS0btwNseKvsN6f.png)
# 网络模型 ## 网络模型
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnn8a16DYyEPEVuHxvvw7eAf.png) ![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnn8a16DYyEPEVuHxvvw7eAf.png)
::: warning 😺
我们可以看到ResNet 的网络依旧非常深,这是因为研究团队不仅发现了退化现象,还采用出一个可以将网络继续加深的 trickshortcut亦即我们所说的 residual。 我们可以看到ResNet 的网络依旧非常深,这是因为研究团队不仅发现了退化现象,还采用出一个可以将网络继续加深的 trickshortcut亦即我们所说的 residual。
- 为了解决梯度消失或梯度爆炸问题ResNet 论文提出通过数据的预处理以及在网络中使用 BNBatch Normalization层来解决。 - 为了解决梯度消失或梯度爆炸问题ResNet 论文提出通过数据的预处理以及在网络中使用 BNBatch Normalization层来解决。
- 为了解决深层网络中的退化问题,可以人为地让神经网络某些层跳过下一层神经元的连接,隔层相连,弱化每层之间的强联系。这种神经网络被称为 残差网络 (ResNets)。ResNet 论文提出了 residual 结构(残差结构)来减轻退化问题。 - 为了解决深层网络中的退化问题,可以人为地让神经网络某些层跳过下一层神经元的连接,隔层相连,弱化每层之间的强联系。这种神经网络被称为 残差网络 (ResNets)。ResNet 论文提出了 residual 结构(残差结构)来减轻退化问题。
:::
## residual 结构 ### residual 结构
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnhgVaLChu3O2omGJKzFU7uB.png) ![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnhgVaLChu3O2omGJKzFU7uB.png)
# 网络代码 ## 网络代码
```python ```python
import torch.nn as nn import torch.nn as nn
@@ -194,14 +195,17 @@ def resnet101(num_classes=1000, include_top=True):
''' '''
``` ```
# 视频 ## 视频
# 思考 https://www.bilibili.com/video/BV1P3411y7nn
## 思考 1 ## 思考
### 思考 1
::: warning 🤔
请你自行了解网络结构中的 BNBatch Normalization这是很重要的一个 normalization 操作,如果感兴趣还可以继续了解 LN (Layer Normalization) 请你自行了解网络结构中的 BNBatch Normalization这是很重要的一个 normalization 操作,如果感兴趣还可以继续了解 LN (Layer Normalization)
:::
## 思考 2 ### 思考 2
::: warning 🤔
你觉得论文中提出用 residual 这一解决方法来解决网络的退化现象的依据是什么,如果可以,请你进一步尝试用数学角度思考这一问题 你觉得论文中提出用 residual 这一解决方法来解决网络的退化现象的依据是什么,如果可以,请你进一步尝试用数学角度思考这一问题
:::