CVPR 多模态输入 图像分类文章 多模态图像分割

指代图像分割

        指代图像分割的目的是通过一个自然的语言表达来分割指代物。由于文本和图像之间的不同数据属性，网络很难很好地对齐文本和像素级的特征。
        现有的方法使用预训练模型来促进学习，但将语言/视觉知识从预训练模型中分离出来，忽略了多模态对应信息。受对比语言图像预训练（CLIP）的启发，本文提出了一种端到端CLIP驱动的参考图像分割框架（CRIS）。
        为了有效地传递多模态知识，CRIS借助视觉语言解码和对比学习来实现文本到像素的对齐。更具体地说，我们设计了一个视觉语言解码器，将文本表示中的细粒度语义信息传播到每个像素级激活，从而促进两种模式之间的一致性。此外，我们还提出了文本到像素的对比学习，以明确执行与相关像素级特征相似、与不相关特征不同的文本特征。在三个基准数据集上的实验结果表明，在没有任何后处理的情况下，我们提出的框架显著优于最先进的性能。代码将被发布。

        CRIS主要由一个文本编码器、一个图像编码器、一个交叉模态颈部(cross-modal neck)、一个视觉语言解码器(vision-language decoder)和两个投影仪(projectors)组成。视觉语言解码器用于将语义信息从文本特征自适应地传播到视觉特征。文本-像素对比学习是通过将文本特征和像素级视觉特征交织在一起，显式地学习细粒度的多模态对应信息。

图像编码器

$input\ image\ I ∈ R^{H×W×3}$
$features\ the\ 2th-4th\ stages \ of \ ResNet, \left\{\begin{array}{l}F_{v2} ∈ R ^{\frac{H}{8} × \frac{W}{8} ×C_2}\\ F_{v3} ∈ R ^{\frac{H}{16} × \frac{W}{16} ×C_3} \\F_{v4} ∈ R ^{\frac{H}{32} × \frac{W}{32} ×C_4} \end{array}\right.$

文本编码器

$T ∈ R^L \xRightarrow{Transformer} F_t ∈ R^{ L×C}$
        $T$为文本，$F_t$为特征。Transformer按照文章“Language models are unsupervised multitask learners. OpenAI blog”进行修改。

        Transformer operates使用lowercased byte pair encoding (BPE) 表示，大小为49152字节[41]，然后文本序列用[SOS]和[EOS]标记括起来。
        [EOS]标记处变压器最高层的激活被进一步转换为全局文本表示$s ∈ R^{C$。C和C’是特征尺寸，L是引用表达式的长度。

Cross-modal Neck

$multi-modal\ feature\ F_{m4}\in {R^{\frac{H}{16} × \frac{W}{16} ×C_3}}:$

$F_{m4} = Up(\sigma (F_{v4}W_{v4}) \cdot \sigma (F_{s}W_{s})),\tag{1}$

	2× upsampling
	elementwise multiplication
σ	ReLU
	可学矩阵 learnable matrices to transform the visual and textual representations into the same feature dimension

$F_{m3} = [\sigma (F_{m4}W_{m4}) , \sigma (F_{v3}W_{v3})],\\ F_{m2} = [\sigma (F_{m3}W_{m3}) , \sigma (F$

$F_{m} = Conv([F_{m_2},\,F_{m_3},\,F_{m_4}]), \tag{3} ∈ R^{{ \frac{H}{16} } × { \frac{W}{16} } ×C}$

Finally, we concatenate a 2D spatial coordinate feature $Fcoord ∈ R^{{ \frac{H}{16} } × { \frac{W}{16} } ×2}$ with $F_m$ and fuse that by a 3 × 3 convolution.
$F_{v} = Conv([F_{m},\, F_{coord}]). ∈ R^{{ \frac{H}{16} } × { \frac{W}{16} } ×C} \tag{4}$
$F_{v} ∈ R^{{ \frac{H}{16} } × { \frac{W}{16} } ×C} \xRightarrow{flatten} F_{v} ∈ R^{N ×C}$

Vision-Language Decoder

$textual features F_t ∈ R^{L×C}$
$pixel-level visual features F_{v} ∈ R^{N ×C}$
为了捕获位置信息，将固定正弦空间位置编码分别添加到Fv[2]和Ft[44]中。
视觉语言解码器由n层组成，每层由多头自注意层、多头交叉注意层和前馈网络组成。在一个解码器层中，Fv首先被发送到多头自我注意层以捕获全局上下文信息：

$F_{v}^{\prime } = MHSA(LN(F_{v})) + F_{v}, \tag {5}$

MHSA	multi-head self-attention layer
LN	Layer Normalization

        然后，采用多头交叉注意层将细粒度语义信息传播到进化后的视觉特征中，其中一个point-wise linear layer将F′v映射到Q，另两个linear layers将Ft映射到K和V。为了获得多模态特征Fc，输出查询Q进一步由具有层规范化和剩余连接的两层MLP块计算：

$\begin {aligned} &F_{c}^{\prime } = MHCA(LN(F_{v}^{\prime }),\,F_t) + F_{v}^{\prime },\\ &F_{c} = MLP(LN(F_{c}^{\prime })) + F_{c}^{\prime }, \end {aligned} \tag{7}$

MHCA	multi-head cross-attention layer
	intermediate features
multi-modal features

$将n次传播的F_c用于最终的预测$

Text-to-Pixel Contrastive Learning

        尽管CLIP[39]通过将文本表示与图像级表示对齐来学习强大的图像级视觉概念，但由于缺乏更细粒度的视觉概念，这种类型的知识在参考图像分割时并不理想。
为了解决这个问题，我们设计了一个文本到像素的对比损失，它明确地将文本特征与相应的像素级视觉特征对齐。如图3所示，采用图像和文本投影仪进行转换
Fc和Fs如下：

$\begin {aligned} &z_{v} = F_{c}^{\prime }W_{v}+b_{v},\,F_{c}^{\prime } = Up(F_{c}),\\ &z_{t} = F_{s}W_{t}+b_{t}, \end {aligned} \tag{8}$

$z_t$	$R^D$
$z_v$	$R^{N×D}$
Up	4× upsampling
Wv and Wt	two learnable matrices to transform Fc and Fs into the same feature dimension D
b	learnable biases

$z_t$和一组转换后的像素级特征 $z_v$，采用对比损失优化两种模式之间的关系，鼓励zt与其对应的zv相似，而与其他无关zv不同。通过点积测量相似度，文本到像素的对比损失可以表示为：

$L_{con}^{i}(z_{t},\,z_{v}^{i})= \begin {cases} -\log \sigma (z_{t} \cdot z_{v}^{i}), & i \in \mathcal {P},\\ -\log (1 - \sigma (z_{t} \cdot z_{v}^{i})), & i \in \mathcal {N},\\ \end {cases} (9)\\ L_{con}(z_{t},\,z_{v}) = \frac {1}{\left \lvert \mathcal {P} \cup \mathcal {N} \right \rvert } \sum _{i \in \mathcal {P} \cup \mathcal {N}} L_{con}^{i}(z_{t},\,z_{v}^{i}), (10)$

where P and N denote the class of “1” and “0” in the ground truth, |P ∪ N | is the cardinality（基数,势）, σ is the sigmoid function.

最终结果

Finally, to obtain the final segmentation results, we reshape
σ(zt · zv) into ${\frac{H}{4} ×\frac{W}{4}}$and upsample it back to the original image size.