2024-11-07，由耶鲁大学和Allen Institute for AI共同创建的M3SciQA数据集，目的评估基础模型在多模态和多文档科学问答任务中的表现。M3SCIQA的创建旨在填补现有基准主要关注单文档、纯文本任务的空白，通过模拟研究人员在理解单篇论文时需要的多模态和多文档数据处理流程，提供了一个更全面的评估平台。
数据集地址：M3SCIQA|科学问答数据集|多模态数据数据集
一、研究背景：
在科学研究中，理解和分析学术论文是一项基础且复杂的工作，涉及到对非文本数据的解读以及跨多个文档的信息整合。现有的基准测试主要关注单文档、纯文本任务，未能充分捕捉研究工作流程的复杂性。
目前遇到困难和挑战
1、现有的基础模型在多模态信息检索和跨多个科学文档的推理方面表现不佳。
2、缺乏能够全面评估基础模型在科学文档理解和推理能力的多模态、多文档基准。
3、当前研究大多局限于单文档或纯文本环境，忽视了科学研究中文本、图表和表格之间的相互关系。
数据集地址：M3SCIQA|科学问答数据集|多模态数据数据集
二、让我们一起来看一下M3SCIQA数据集
M3SciQA 包含1452个专家标注的问题，这些问题跨越70个自然语言处理（NLP）论文集群，涵盖了3066篇论文。每个集群包括一个主论文和所有引用的文档。这个基准要求模型在理解科学图像和引用文档之间关系的同时，进行跨文档的信息检索和推理。
数据集构建 ：
遵循多模态和多文档推理的原则，包括文本、图表和表格等多种模态，并要求模型连接多个文档中的信息。专家注释者负责从精选的主论文中构建视觉上下文问题，并根据四种预定义的推理类型进行分类。
数据集特点：
1、多模态多文档设计： 多模态和多文档的设计。它不仅包含了文本数据，还整合了图表、图像等非文本信息，要求模型能够处理和理解这些不同形式的数据。同时，数据集模拟了科研人员在研究中需要跨越多个文档获取信息的实际情况，这增加了任务的复杂性，并更贴近真实的科研工作流程。
2、专家级标注与质量控制： 数据集中的问题和答案均由领域专家进行细致的标注和验证，确保了数据的高质量和准确性。这种专家级的标注不仅提高了数据集的可靠性，也为模型训练和评估提供了精确的基准，使得模型的性能评估更加公正和有效。
3、全面评估基础模型： M3SciQA旨在全面评估基础模型在科学文献理解方面的能力，特别是在多模态信息检索和跨多个科学文档的推理能力。它不仅测试模型的问答能力，还挑战模型在长距离信息检索、复杂推理以及领域特定知识理解方面的表现，从而揭示现有模型的局限性，并推动更先进模型的发展。
（顶部）科学研究中比较分析的常见工作流程，特别是当结果，例如信息价值论文（锚论文）中的图形/表格（Giulianelli et al.， 2023）时，促使进一步检查相关研究，例如 DialoGPT 的细节（参考论文）（Zhang et al.， 2020b）。（下）演示构建视觉上下文问题、基于参考的问题和组合问题的工作流程。
M3SciQA 问题构建管道概述。
M3SciQA 中视觉上下文和基于参考的问题的推理类型分布。
M3SciQA 基准测试的关键统计数据。
GPT-4o 回答视觉上下文问题的三个示例。
三、让我们一起展望M3SciQA数据应用
比如一个国际科研机构，主要通过分析全球科研文献来预测和指导未来的科研投资方向。该机构拥有广泛的科研领域，包括人工智能、生物技术、材料科学等。
背景：
利用M3SciQA数据集来分析当前科研领域中最热门和最活跃的研究问题，以及最常使用的研究方法，以便为科研投资和资源分配提供数据支持。
步骤：
1、数据收集与预处理：
从M3SciQA数据集中提取所有问题和相关论文。
使用自然语言处理技术，如主题建模和关键词提取，来识别每个问题和论文的主要研究领域和主题。
2、趋势分析：
统计各研究领域的问题数量，确定哪些领域的问题最热门。
分析问题中提及的研究方法，识别最常用的实验技术和数据分析工具。
3、模式识别： 通过对比不同时间段的问题变化，识别新兴的研究趋势。
识别跨学科研究的增长点，比如人工智能在生物技术中的应用。
4、资源分配建议：
根据分析结果，提出科研资源分配的建议。例如，如果发现某个领域的研究问题数量激增，可能需要增加该领域的资金和人力投入。
针对常用的研究方法，建议投资相关的实验设备和技术培训。
最终为科研投资者提供详细的趋势报告，包括热门研究领域的预测、潜在的科研突破点，以及投资回报的评估。提供决策支持工具，帮助投资者评估不同科研领域的风险和收益。
更多开源数据集，请打开：遇见数据集
https://www.selectdataset.com/
