3.0 KiB
3.0 KiB
总结
对比学习综述讲到这里也就基本结束了
来回顾一下对比学习的发展历程和一些要点吧！
发展历程
| 论文名称 | 贡献 | 网络类型 | 用的代理任务 | 延续了哪篇工作 |
|---|---|---|---|---|
| Inst Disc | 奠基作，引入 Memory Bank 大字典的概念，提出个体判别任务。 | 判别式网络 | 个体判别任务 | 无 |
| 定义正负样本的方式（因为不止一篇论文就不放名字了） | 引入生成式网络的概念，提出多视角作为不同正样本 | 前者是生成，后者是判别 | 时序预测任务 多视角判别任务 |
无 |
| MoCo | 使用队列储存字典，提出动量编码器，提出 infoNCEloss | 判别式网络 | 个体判别任务 | Inst Disc |
| SimCLR | 提出 projection head，提出把一张图片做不同的数据增强进行对比，并且分析了各种数据增强的贡献 | 判别式网络 | 个体判别任务 | Inst Disc |
| SwAV | 使用聚类中心矩阵，提出新的聚类任务 | 聚类式网络（或许也算判别式） | 聚类 | SimCLR |
| BYOL | 提出无负样本学习，提出预测头 predictor | 判别式网络 | 或许算预测？ 但也有个体判别的感觉 |
SimCLR |
| SimSiam | 在 BYOL 基础上做了改进，总结了前面的工作，提出了对称式的孪生网络 | 判别式网络 | 同上 | BYOL |
| MoCo v3 | 缝合了 MoCo 和 SimSiam，引入了 VIT，提出小 trick 解决训练不稳定 | 判别式网络 | 同上 | MoCo |
要点提问
1.什么是 memory bank？
2.个体判别任务的局限
3.什么是 NCEloss，infoNCEloss 呢？
4.能画出每个网络的结构图吗？
5.能列出提到过的所有小 trick 吗？