moyin/fzu-product
1
0
Fork 0
Code Issues 1 Pull Requests Packages Projects Releases Wiki Activity

chore: 尝试切换到 ali oss

Browse Source
This commit is contained in:
camera-2018
2023-04-21 01:59:02 +08:00
parent 9a5d376115
commit 3cf4715781
81 changed files with 416 additions and 416 deletions
Download Patch File Download Diff File Expand all files Collapse all files

8
4.人工智能/4.6.5.3.1AlexNet.md
View File

@@ -12,21 +12,21 @@ AlexNet 有 6 千万个参数和 650,000 个神经元。
### <strong>网络框架图</strong>
![](static/boxcng0jB2dmDD18EwU8nAIFPIc.png)
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcng0jB2dmDD18EwU8nAIFPIc.png)
### <strong>使用 ReLU 激活函数代替 tanh</strong>
在当时，标准的神经元激活函数是 tanh()函数，这种饱和的非线性函数在梯度下降的时候要比非饱和的非线性函数慢得多，因此，在 AlexNet 中使用 ReLU 函数作为激活函数。
![](static/boxcnFlENdpKXUR7l4MhUXFKzfg.png)
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnFlENdpKXUR7l4MhUXFKzfg.png)
### <strong>采用 Dropout 防止过拟合</strong>
dropout 方法会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得以保留和消除的概率都是 0.5，设置完节点概率，我们会消除一些节点，然后删除掉从该节点进出的连线，最后得到一个节点更少，规模更小的网络（如下图所示），然后再用反向传播方法进行训练。
![](static/boxcnNXzBUtJWXbUtEZzxugBr6W.png)
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnNXzBUtJWXbUtEZzxugBr6W.png)
![](static/boxcn7kG0PcXNumIdTFuEdaHl0e.png)
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcn7kG0PcXNumIdTFuEdaHl0e.png)
###