论文链接： https://arxiv.org/pdf/2312.14233code: https://github.com/SHI-Labs/VCoder
一、简介
人类拥有非凡的视觉感知能力，能够看到并理解所看到的事物，帮助他们理解视觉世界，进而理解理性。多模态大语言模型（MLLM）最近在视觉语言任务上取得了令人印象深刻的性能，从视觉问答和图像字幕到视觉推理和图像生成。然而，当提示识别或计数（感知）给定图像中的实体时，现有的 MLLM 系统会失败。为了开发用于感知和推理的精确 MLLM 系统，文中使用多功能视觉编码器 (VCoder) 作为多模态 LLM 的感知眼睛。向 VCoder 提供感知模式，例如分割或深度图，从而提高 MLLM 的感知能力。其次，利用 COCO 的图像和现成的视觉感知模型的输出来创建 COCO 分割文本 (COST) 数据集，用于在对象感知任务上训练和评估 MLLM。第三，引入了评估 MLLM 在 COST 数据集上的物体感知能力的指标。最后，提供了大量的实验证据，证明 VCoder 相对于现有的多模态 LLM（包括 GPT-4V）改进了对象级感知技能。
二、莫拉维克悖论
假设你被邀请参加一个万圣节派对，并想给派对上的每个人带上糖果，如图1所示。你让你的朋友给你发一张派对房间的照片，这样你就可以估算出人数和需要购买的糖果数量。匆忙之中，你问 GPT-4V：“你能数出图片中有多少人吗？”，它回答说：“是的，图片中可以看到十个人。”你兴奋地带着十颗糖果来到派对上，但等一下，你看到十四个人！你感到很困惑，你看着朋友发给你的图片，你可以在图片中数出十四个人，意识到 GPT-4V 无法完成数图片中有多少人这个简单的任务。同时，它可以准确地描述图片中万圣节派对的发生。多模态 LLM 在简单的视觉感知任务中失败而在复杂的视觉推理任务中取得成功的现象被称为感知中的莫拉维克悖论（Moravec’s Paradox in Perception）。
图 1.GPT-4V 在被提示描述复杂的视觉场景时返回的响应。然而，它无法完成在同一场景中进行计数的简单任务。 文中提出的VCoder 返回正确的人数。
三、论文贡献
- 使用额外的（感知）控制输入并将其馈送到多功能编码器（VCoder）以提高对象感知性能。
- 引入了COCO 分割文本(COST) 数据集，用于在对象识别、计数和顺序预测等基本对象级感知任务上训练和评估多模态LLM 系统。
- 为了量化MLLM 中的物体感知能力，计算计数分数(CS)、幻觉分数(HS) 和深度分数(DS)。
- 在 COST 数据集上进行验证时，经过 VCoder 改造的 LLaVA1.5 在所有指标上都优于基线 MLLM。
四、Cost
为了克服用于训练 MLLM 的基础感知重点图像文本数据稀缺的问题，文中利用 COCO 数据集中的图像并使用现成的视觉感知模型的预测来准备 COCO 分割文本 ( COST ) 数据集。
图像分割方法可以准确识别给定场景中的显着对象（前景对象，如人、汽车等）和背景对象（如天空、墙壁等）。在这一发现的指导下，文中使用 COCO 数据集中的图像，并从 OneFormer （一种最先进的图像分割模型）获得相应的分割输出。接下来，从分割输出中提取对象（类）名称和计数，并将它们转换为真实答案的句子形式：“图像中存在的对象是：[CNT1] [OBJ1]，[CNT2] [ OBJ2]，. 。 ., [CNTN] [OBJN].”，其中 [OBJi] 代表对象名称，[CN Ti] 代表图像中第 i 个对象的计数（如果大于 1）。文中提示 GPT-4 [51] 为三种不同的对象识别任务收集一系列问题：语义、实例和全景，对应于三种不同的图像分割任务。最后，如图 3 所示，将 COCO 中的图像、OneFormer 中的分割图、GPT-4 中的问题以及包含对象信息的句子组织成问答格式，以构建用于训练的 COCO 分割文本（COST）数据集并评估 MLLM 在物体识别任务上的表现。
图 3. COST 数据集
五、视觉编码器
文中通过额外的视觉编码器将辅助感知模态作为控制输入，我们将其称为多功能视觉编码器 ( VCoder )，如图4所示。在这项工作中，专注于物体感知任务，并利用分割图、深度图或两者作为控制输入；但是，相同的设计可以扩展到其他模态。VCoder 将控制输入的信息投射到 LLM 的空间中。这种增加的控制有助于 MLLM 提高其物体感知能力。
图 4. VCoder 调整多模态 LLM 以实现准确的物体感知。 (a) VCoder 作为适配器添加到 LLaVA-1.5 中，并提供感知模式作为额外的控制输入，以提高对象感知性能。在训练过程中，冻结了 LLaVA-1.5 中的组件（ImCoder、MLP 和 LLM）以保留原始推理性能。 (b) 使用深度图和分割图作为 VCoder 的控制输入来执行对象顺序感知任务。
量化MLLM 中的物体感知能力的计数分数(CS)、幻觉分数(HS) 和深度分数(DS)计算如下：
六、实验结果
本文转自 https://mp.weixin.qq.com/s/l0pgyg10fsWMbPSmWB2oew
