1. Chinese SimpleQA: A Chinese Factuality Evaluation for Large Language Models
新的语言模型（LLM）评估标准对于跟上LLM的快速发展至关重要。在这项工作中，我们提出了第一个全面的中文标准——Chinese SimpleQA，用于评估语言模型回答简短的问题的事实性能力，且Chinese SimpleQA主要具有五个特性（即中文、多样、高质量、静态、易于评估）。具体而言，首先，我们专注于6个主要主题中的中文语言，涵盖99个多样化的子主题。其次，我们进行了一项全面的质量控制，以确保高质量的问题和答案，其中参考答案是固定的，不会随时间改变。第三，遵循SimpleQA，问题和答案非常简短，基于OpenAI API，评分易于评估。基于Chinese SimpleQA，我们对现有LLM的事实性进行了全面评估。最后，我们希望Chinese SimpleQA能够指导开发者更好地理解其模型的中文事实性，并促进模型的发展。
论文: https://arxiv.org/pdf/2411.07140
2. Add-it: Training-Free Object Insertion in Images With Pretrained Diffusion Models
基于文本指令在图像中添加对象是语义图像编辑中的一个挑战性任务，需要在保留原始场景和在合适的位置无缝集成新对象之间找到平衡。尽管付出了大量努力，现有的模型在这一平衡上仍然存在问题，尤其是在在复杂场景中找到自然的添加对象位置方面。我们提出了Add-it，这是一种无需训练的方法，它将扩散模型的注意力机制扩展到从三个关键来源整合信息：场景图像、文本提示以及生成的图像本身。我们加权扩展的注意力机制保持结构一致性并保留了精细细节，同时确保自然地放置对象。在无需具体任务微调的情况下，Add-it 在现实和生成图像插入基准测试中均取得了最先进的结果，包括我们新构建的“Additing 合理性基准”来评估对象放置的合理性，且优于监督方法。人类评估显示，Add-it 在超过80%的情况下被更喜欢，同时它也在各种自动化指标上显示出改进。
论文: https://arxiv.org/pdf/2411.07232
3. OmniEdit: Building Image Editing Generalist Models Through Specialist Supervision
指令引导的图像编辑方法通过在自动合成或手动标注的图像编辑配对上训练扩散模型，展示了显著的潜力。然而，这些方法仍然远离实际应用。首先，现有模型由于有偏见的合成过程限制了其编辑技能。其次，这些方法使用了大量噪声和伪影的数据集，这是由于应用了简单的过滤方法，如CLIP评分。第三，所有这些数据集都限制在单一低分辨率和固定纵横比，限制了处理实际应用场景的灵活性。
在本文中，我们提出了omniedit，这是一种全能编辑器，能够无缝处理七种不同的图像编辑任务，且不受纵横比限制。我们的贡献包括四个方面：
（1）omniedit通过利用七个不同专家模型的监督来确保任务覆盖。
（2）我们利用大型多模态模型（如GPT-4o）提供的评分进行重要性采样，而不是CLIP评分，以提高数据质量。
（3）我们提出了一种新的编辑架构，称为EditNet，以大幅提高编辑成功率。
（4）我们提供了不同纵横比的图像，以确保我们的模型能够处理任何图像。我们策划了一个包含不同纵横
比图像的测试集，这些图像配有各种各样的指令，以覆盖不同的任务。自动评估和人工评估均表明，omniedit可以显著优于所有现有模型。我们的代码、数据集和模型将在https://tiger-ai-lab.github.io/OmniEdit/上提供。
论文: https://arxiv.org/pdf/2411.07199
4. M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework
理解并回答文档问题的能力在许多商业和实际场景中都非常有用。然而，文档通常包含大量的多模态内容，如文本、图表和表格，这些内容对于人类来说需要耗费大量时间才能彻底阅读。因此，迫切需要开发有效的自动化方法来帮助人类完成这项任务。在本文中，我们提出了M-LongDoc基准数据集，包含851个样本，并提出了一种自动化框架来评估大型多元模态模型的性能。我们进一步提出了一种基于检索的增强调优方法，以实现高效且有效的多模态文档阅读。与现有工作相比，我们的基准数据集包含更多近期且较长的文档，页数可达数百页，同时还需要开放式的解决方案，而不仅仅是提取性的答案。据我们所知，我们的训练框架是第一个直接针对多元模态长文档的检索场景进行训练的方法。为了能够调优开源模型，我们通过全自动方式构建了一个训练语料库，用于此类文档上的问答任务。实验表明，我们的调优方法相对于基线开源模型，在模型响应的正确性上取得了4.6%的改进。我们的数据、代码和模型可在https://multimodal-documents.github.io 获得。
论文: https://arxiv.org/pdf/2411.06176
5. Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models
我们提出Edify Image，这是一个能够生成像素级准确的逼真图像内容的扩散模型家族。Edify Image 通过一种新颖的拉普拉斯扩散过程训练了级联像素空间扩散模型，在这一过程中，不同频率带的图像信号以不同的速率衰减。Edify Image 支持广泛的应用，包括文本转图像生成、4K 上采样、ControlNets、360HDR全景生成以及图像定制微调。
论文: https://arxiv.org/pdf/2411.07126
