https://ai.googleblog.com/2020/08/understanding-view-selection-for.html
https://zhuanlan.zhihu.com/p/150736322
这是一个系列类的文章,我会从逻辑,原理,代码等部分来抽茧剥丝的来描述这个问题。
InfoMin原则 在进行对比学习任务(也有说的是对比多视角学习)的过程中,我们假设视角得到最佳结果,应该尽可能在输入中舍弃与任务无关的信息(如对象标签)
关于InfoMin原则的我的理解,在看到代码之后,我理解的InfoMin是一个合适的阈值,视角间(或者说anchor和positive)之间的互信息大小应该选取一个最合适的优化组合(所以这个优化点能不能分步学习到呢,或者使用)
在论文中,作者使用的是 InfoNCE( I NCE ) 来估算互信息量,其为互信息下限的定量度量。我们观察到了一条 反向的 U 型曲线:随着互信息的减少,下游任务的准确率会先升高,然后再降低。
接下来还是来看看代码吧,首先比较狗的一个就是个人认为最关键最重要的那个,view learning,作者你没放出来啊,woc,
等了大半年,依然是毫无消息,那还咋办呢,自己看代码然后复现呗,只能这样,下图的是一些关键信息