https://ai.googleblog.com/2020/08/understanding-view-selection-for.html

https://zhuanlan.zhihu.com/p/150736322

这是一个系列类的文章,我会从逻辑,原理,代码等部分来抽茧剥丝的来描述这个问题。

InfoMin原则 在进行对比学习任务(也有说的是对比多视角学习)的过程中,我们假设视角得到最佳结果,应该尽可能在输入中舍弃与任务无关的信息(如对象标签)

 关于InfoMin原则的我的理解,在看到代码之后,我理解的InfoMin是一个合适的阈值,视角间(或者说anchor和positive)之间的互信息大小应该选取一个最合适的优化组合(所以这个优化点能不能分步学习到呢,或者使用)

在论文中,作者使用的是 InfoNCE( I NCE ) 来估算互信息量,其为互信息下限的定量度量。我们观察到了一条 反向的 U 型曲线:随着互信息的减少,下游任务的准确率会先升高,然后再降低。

接下来还是来看看代码吧,首先比较狗的一个就是个人认为最关键最重要的那个,view learning,作者你没放出来啊,woc,

InfoMin Principle: Views that Only Share Label Information_big

等了大半年,依然是毫无消息,那还咋办呢,自己看代码然后复现呗,只能这样,下图的是一些关键信息

InfoMin Principle: Views that Only Share Label Information_big_02