moyin/fzu-product
1
0
Fork 0
Code Issues 1 Pull Requests Packages Projects Releases Wiki Activity

chore: change pic to cos

Browse Source
This commit is contained in:
camera-2018
2023-07-02 00:33:36 +08:00
parent 08fa485f6f
commit cd9d239d20
91 changed files with 462 additions and 462 deletions
Download Patch File Download Diff File Expand all files Collapse all files

10
4.人工智能/4.6.8.4MoCo.md
View File

@@ -24,7 +24,7 @@ NCE 把<strong>所有负样本都视作一样的</strong>，但实际上负样
右边就是 memory bank 啦
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnKMjslIshEA5SFqc8rbmqoe.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnKMjslIshEA5SFqc8rbmqoe.png)
# MoCo 做出的改进
@@ -38,7 +38,7 @@ NCE 把<strong>所有负样本都视作一样的</strong>，但实际上负样
动量编码器是独立于原编码器的一个编码器，它的参数是根据原编码器动量更新的，k 和 q 就是指代全部参数了
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnFLSP9PtQRkgYgcMwM4idog.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnFLSP9PtQRkgYgcMwM4idog.png)
这样的话就是解码器在缓慢更新，比对特征使用动量更新要更有连续性。
@@ -48,7 +48,7 @@ NCE 把<strong>所有负样本都视作一样的</strong>，但实际上负样
[（什么？你看到这了还不会交叉熵？戳这里）](https://zhuanlan.zhihu.com/p/149186719)
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnnWI38bkSzeCe5TtVTBCrNh.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnnWI38bkSzeCe5TtVTBCrNh.png)
q·k 其实就是各个特征（因为那时候用的都是 transformer 了，这里就是 trnasformer 里的 k 和 q）
@@ -56,9 +56,9 @@ q·k 其实就是各个特征（因为那时候用的都是 transformer 了，
T 越大，损失函数就越对所有负样本<strong>一视同仁</strong>，退化为二分类的 NCEloss；T 越小，损失函数就<strong>越关注一些难分类的特征</strong>，但有时候会出现两张其实都是猫猫的图片，你硬要让模型说猫猫跟猫猫不一样，这也不太好，这个参数要根据数据集情况适中调整。
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnhuabU9XzXmVQfu0ruENs83.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnhuabU9XzXmVQfu0ruENs83.png)
![](https://hdu-cs-wiki.oss-cn-hangzhou.aliyuncs.com/boxcnsGpqCNePn2G34GnJqPieBf.png)
![](https://pic-hdu-cs-wiki-1307923872.cos.ap-shanghai.myqcloud.com/boxcnsGpqCNePn2G34GnJqPieBf.png)
上面那张是 T 较大的情况，下面是 T 较小的情况（x 轴是各个类别，y 轴是分类得分）