moyin/fzu-product
1
0
Fork 0
Code Issues 1 Pull Requests Packages Projects Releases Wiki Activity

chore: change pic to cos

Browse Source
This commit is contained in:
camera-2018
2023-07-02 00:33:36 +08:00
parent 08fa485f6f
commit cd9d239d20
91 changed files with 462 additions and 462 deletions
Download Patch File Download Diff File Expand all files Collapse all files

6
4.人工智能/4.6.8.9MoCo v3.md
View File

@@ -10,7 +10,7 @@ MoCo v3，它缝合了 MoCo 和 SimSiam，以及新的骨干网络 VIT。
可能因为和前面的工作太像了，作者就没有给模型总览图，我们借 MoCo 的总览图来讲
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnhxg4HZw2NExIbYZxQGISze.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnhxg4HZw2NExIbYZxQGISze.png)
总体架构其实没有太多变化，还是 memory bank 的结构，右边也还是动量编码器，不过加入了 SimCLR 提出的 projection head（就是额外的那层 mlp），并且在对比上用了 SimSiam 的预测头对称学习方式。具体也不展开了，都是老东西缝合在一起。
@@ -18,11 +18,11 @@ MoCo v3，它缝合了 MoCo 和 SimSiam，以及新的骨干网络 VIT。
作者在用 VIT 做骨干网络训练的时候，发现如下问题：
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnMMhbVk6wc81H8BSoack7Mg.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnMMhbVk6wc81H8BSoack7Mg.png)
在使用 VIT 训练的时候，batchsize 不算太大时训练很平滑，但是一旦 batchsize 变大，训练的图像就会出现如上图这样的<strong>波动</strong>。于是作者去查看了每一层的梯度，发现问题出在<strong>VIT 的第一层线性变换</strong>上。也就是下图中的粉色那个层，<strong>把图片打成 patch 后展平做的线性变换</strong>。
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcniBkiypcv6IQbxr9D6JukOb.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcniBkiypcv6IQbxr9D6JukOb.png)
在这一层中，梯度会出现波峰，而正确率则会突然下跌。