31 lines
3.0 KiB
Markdown
31 lines
3.0 KiB
Markdown
# 总结
|
||
|
||
对比学习综述讲到这里也就基本结束了
|
||
|
||
来回顾一下对比学习的发展历程和一些要点吧！
|
||
|
||
# 发展历程
|
||
|
||
| 论文名称 | 贡献 | 网络类型 | 用的代理任务 | 延续了哪篇工作 |
|
||
| -------------------------------------------------- | ------------------------------------------------------------------------------------------ | ---------------------------- | ------------------------------------- | -------------- |
|
||
| Inst Disc | 奠基作，引入 Memory Bank 大字典的概念，提出个体判别任务。 | 判别式网络 | 个体判别任务 | 无 |
|
||
| 定义正负样本的方式（因为不止一篇论文就不放名字了） | 引入生成式网络的概念，提出多视角作为不同正样本 | 前者是生成，后者是判别 | 时序预测任务<br/>多视角判别任务 | 无 |
|
||
| MoCo | 使用队列储存字典，提出动量编码器，提出 infoNCEloss | 判别式网络 | 个体判别任务 | Inst Disc |
|
||
| SimCLR | 提出 projection head，提出把一张图片做不同的数据增强进行对比，并且分析了各种数据增强的贡献 | 判别式网络 | 个体判别任务 | Inst Disc |
|
||
| SwAV | 使用聚类中心矩阵，提出新的聚类任务 | 聚类式网络（或许也算判别式） | 聚类 | SimCLR |
|
||
| BYOL | 提出无负样本学习，提出预测头 predictor | 判别式网络 | 或许算预测？<br/>但也有个体判别的感觉 | SimCLR |
|
||
| SimSiam | 在 BYOL 基础上做了改进，总结了前面的工作，提出了对称式的孪生网络 | 判别式网络 | 同上 | BYOL |
|
||
| MoCo v3 | 缝合了 MoCo 和 SimSiam，引入了 VIT，提出小 trick 解决训练不稳定 | 判别式网络 | 同上 | MoCo |
|
||
|
||
# 要点提问
|
||
|
||
1.什么是 memory bank？
|
||
|
||
2.个体判别任务的局限
|
||
|
||
3.什么是 NCEloss，infoNCEloss 呢？
|
||
|
||
4.能画出每个网络的结构图吗？
|
||
|
||
5.能列出提到过的所有小 trick 吗？
|