乐胖代购免代理版

模型和多模态模型代码论文5篇

本文介绍了Qwen2系列开源大模型和多模态模型，涵盖了从0.5B到72B参数的不同规模模型，以及密集模型和混合专家模型

人工智能

自然语言处理

数据

模态

Code

原创 7月前 70 阅读

大型语言模型微调新进展-4篇论文

本文介绍了一种名为 INVERSE-INSTRUCT 的方法，该方法通过利用代码本身来生成指令，从而进一步提升了指令微调的代码大型语言模

深度学习

人工智能

机器学习

语言模型

代码生成

原创 7月前 122 阅读

5 篇有关基座大模型的论文

1. Gemma 2: Improving Open Language Models at a Practical Size摘要：Gemma 2 是 DeepMind 发布的第二代 Gemma 模型，包括 2B、9B 和 27B 参数规模的版本。这些模型分别预训练了 2T、8T 和 13T tokens，并且较小的两个模型是从 27B 模型通过蒸馏技术获得的。Gemma 2 27B 在 MMLU、

人工智能

自然语言处理

Java

基准测试

语言模型

原创 7月前 50 阅读

ChatGLM-Math：强化数学能力

大型语言模型（LLM）在文本摘要、问答和角色扮演对话等语言任务上表现出色，在数学推理等复杂问题上也具有应用潜力。但目前提高 LLM 数学问题解决能力的方法，往往会导致其他方面能力的下降。例如RLHF的方法，虽然可以提高文本生成的质量，但却会忽略解决数学问题所需要的准确性和逻辑连贯性，而 SFT 微调，则可能降低大模型本身

机器学习

人工智能

数据集

Math

数据

原创 10月前 25 阅读

如何处理多模态数据噪声不均衡动态？天大等最新《低质量数据的多模态融合》综述

一些最近的研究实证和理论上表明，传统的多模态融合可能在野外的低质量多模态数据上失败，例如不平衡【7】【8】【9】【10】、噪

人工智能

模态

数据

自动驾驶

原创 10月前 107 阅读

cTBLS：使用对话表格增强大型语言模型

3.提出证据证明，使用编码器语言模型排序的知识源增强最先进的 LLM 解码器，可在自动（ROUGE-精确度）和人工（连

语言模型

人工智能

自然语言处理

编码器

数据集

原创 10月前 70 阅读

LoRA: 大模型的低秩适配

随着我们预训练更大的模型，全量微调，即重新训练所有模型参数，变得不太可行。我们提出了低秩适应（Low-Rank Adaptation），简称LoRA，它冻结了预训练模型的权重，并将可训练的秩分解矩阵注入Transformer架构的每一层，大大减少了用于下游任务的可训练参数数量。神经网络有很多计算矩阵乘法的稠密层，这些层中的矩

人工智能

低秩矩阵

权重

初始化

原创 10月前 111 阅读

自适应剪枝让多模态大模型加速2-3倍，哈工大联合度小满推出SmartTrim

基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长

剪枝

算法

机器学习

模态

自适应

原创 10月前 112 阅读

大型语言模型高效推理综述

众多开源的LLMs已经出现，包括GPT系列（GPT-1 [1]，GPT-2 [2]，和GPT-3 [3]），OPT [4]，LLaMA系列（LLaMA [5]，LLa的机会。

语言模型

人工智能

自然语言处理

推理过程

搜索引擎

原创 10月前 54 阅读

Meta提出全新文档级嵌入框架，利用LLM来增强信息检索能力

近年来，基于嵌入式检索（embedding-based search）或密集检索（dense retrieval）相比传统的稀疏检索（sparse retrieval）或基于词袋（bag of words）的方法，已经展示出了更先进的结果。

人工智能

字段

数据集

语言模型

原创 10月前 94 阅读

普林斯顿伯克利最新「扩散模型」综述：应用、引导生成、统计率和优化

扩散模型是一种强大且通用的生成性人工智能技术，在计算机视觉、音频、强化学习和计算生物学中取得了巨大的成功。在这些应用中，

人工智能

解决方案

数据集

数据

原创 11月前 81 阅读

使用大模型来实现医疗领域的隐私信息保护

传统隐私保护技术主要包括联邦学习、差分隐私、同态加密等，这些技术在大模型背景下的应用挑战不断加剧：(1)联邦学习应用于大模型中时更注重使用多个小模型来训练性能更强的大模型，对隐私的关注有所减少；作者首先对数据建立基线，提取关键隐私指标(常见症状、患者情绪或医疗查询的趋势)，用LLM掩盖敏感信息，确保仅更改数据的个人身份或敏

人工智能

数据

数据集

数据分析

原创 11月前 220 阅读

利用监督式微调（SFT），向大模型注入新知识，无需检索增强生成(RAG)！

引言在文本生成方面，大语言模型表现出了超强的性能。然而，随着时间的推移，大模型会面临知识更新问题，特别是对于发生在模型知识截止日期之后的事件。例如：当前ChatGPT并不能给出2023年亚运会的信息。面对这个问题，目前主要有两种解决方案，方案一通过RAG挂知识数据库；方案二是通过模型微调，为大模型注入新的知识。本文作者深入调研了监督微调（SFT）在大模型知识注入上的有效性，提出了一种新型数据生成方

数据集

新知识

数据

原创 2024-04-15 23:38:20 447 阅读

分享10篇优秀论文，涉及图神经网络、大模型优化、表格分析

我们在11个下游视觉数据集上进行了实验证明，本文方法在少样本场景中显著提高了现有多模态提示学习模型的性能，收集了2249个查询-结果对和347个表格，使用三种不同的评估指标对五个最先进的模型进行评估，结果显示本文的基准在表格数据分析领域提出了相当大的挑战。

自然语言处理

nlp

深度学习

gpt

模态

原创 2024-04-11 15:03:59 113 阅读

Large Language Models Paper 分享

语言模型

人工智能

自然语言处理

Image

ci

原创 2024-04-11 15:03:29 152 阅读

用于生成信息提取的大型语言模型综述

同时，论文根据学习范式对所有方法进行了分类，包括有监督微调（使用标记数据对LLM进行进一步的IE任务训增强（指通过使用LLM对现有数据应用各种转换来增强信息，包括数据标注，知识检索，反向生成），以突出使用LLM进行IE的常用方法。这是通过捕捉任务间的相互依赖关系，并通过指导性提示实现的效果。

人工智能

数据

生成式

子任务

原创 2024-04-11 15:02:40 125 阅读

克服大模型(LLM)部署障碍，全面理解LLM当前状态

由于基于 API 的 LLM 服务（如 ChatGPT）的出现，一些黑盒蒸馏模型吸引了很多关注 [238,59, 273, 201, 313]，这些模型通常具有更少为了当前 AI 和系统领域亟需解决的问题。服务长序列负载的 LLM 需要解决算法和系统两方面的挑战。

人工智能

类方法

语言模型

系统优化

原创 2024-04-11 15:02:32 149 阅读

大模型：我也会自监督学习

他们观察到了与 head-to-head 评估相同的结论，即训练迭代的胜率比 GPT4-Turbo 高，从迭代 1 的 9.94%，到迭代 2 的 15.38%

学习

人工智能

迭代

语言模型

数据

原创 2024-04-11 15:01:19 150 阅读

基于Ray和vLLM构建70B+模型的开源RLHF全量训练框架

而这些PEFT的方式往往意味着模型效果的妥协。所以我们想到对于 Actor 推理模块我们基于 vLLM 的 TP 并行和 Dynamic Batching 能力做了分

开源

Memory

数据集

矩阵乘法

原创 2024-04-11 15:01:02 493 阅读

Transformer

标准 MLM 预训练目标的一个限制是，在每个训练步骤中，仅更新 mask token 的表示，而其他输入 token 则不更新。成功

transformer

机器翻译

架构

数据集

语言模型

原创 2024-04-11 15:00:00 105 阅读

机器学习系统能在多大程度上理解数学

文章提出了 LLEMMA，一个专注于数学领域的大型语言模型。通过在 Proof-Pile-2 上对 Code Llama 继续进行预训练，从而得到 LLE

机器学习

人工智能

github

语言模型

数据集

原创 2024-04-11 14:59:59 93 阅读

如何探究大模型理论？UCLA最新《深度学习统计理论》综述，详述近似、训练动力学和生成模型

这些工作包括 Schmidt-Hieber [2020], Kim et al. [2021], Shen et al. [2021], Jiao et al. [2021], Lu et al. [2021], Imaizumi and F

神经网络

回归

分类

深度学习

数据

原创 2024-04-11 14:59:11 140 阅读

Retrieval-Augmented Generation for Large Language Models: A Survey

09.结论本文的总结如图7所示，突显了RAG在增强LLM能力方面的重大进步，这是通过将语言模型中的参数化知识与外部

语言模型

人工智能

自然语言处理

搜索

数据

原创 2024-04-11 14:58:50 443 阅读 1收藏

《大型语言模型自然语言生成评估》综述

例如，LLMs可以生成合理的解释来支持最终评分（Xu et al., 2023），而利用人类反馈的强化学习（RLHF）可以使LLMs的的普遍元评估基准。

语言模型

人工智能

自然语言处理

3c

自然语言生成

原创 2024-04-11 14:58:21 131 阅读

大模型的高效训练和部署技术卷出新高度

01 大模型训练的挑战1. 大模型发展现状及问题上图中展示了大模型的发展历程，其中纵坐标是 AI 模型的参数量。在过去几年间，AI 大模型的参数量飞速增长，大约每 18 个月时间就会增长 40 倍。例如 2016 年，世界最好的大模型 ResNet-50，参数量约为 2000 万；而到 2020 年的 GPT-3 模型，参数量已达到 1750 亿；到今天，根据 OpenAI 透露的

人工智能

数据

服务器

英伟达

原创 2024-04-11 14:58:14 241 阅读

LLM包含的知识

LLM微调最费机器，所以也是知识点最多的地方，比如详解各种PEFT方法、LoRA、QLoRA（两种量化、Page Optimizer等）、RL

人工智能

数据

强化学习

数据处理

原创 2024-04-11 14:58:06 105 阅读

时间序列大模型：TimeGPT

基础模型在时间序列预测任务中的潜力仍然未被充分探索，但有迹象表明可以在不降低性能的情况下将预训练模型转移到不同

自然语言处理

时间序列

数据集

深度学习

原创精选 2024-04-11 14:57:28 305 阅读

大模型+自动驾驶

值得鼓舞的是，最近的进展，特别是在扩散模型和NeRF方面，已经产生了模糊了现实与机器生成界限的图像，为解决数据稀缺提供

自然语言处理

自动驾驶

数据

数据集

原创 2024-04-11 14:57:12 96 阅读

中文数据让LLM变笨？

这里的结果，就让我比较迷惑了，如果是同样的网络结构，一个简中版，一个英文版，这样的对比，我是认可的，但两个架构的模

深度学习

人工智能

机器学习

数据

Code

原创 2024-04-11 14:56:28 83 阅读

LLM推理的吞吐、时延及成本空间

没有分页注意力的KV缓存是矩形的，需要分配一个大矩形内存，其中一个维度是批大小，即模型一次可以处理的最大序列数，另一个维度

人工智能

词元

缓存

浮点运算

原创 2024-04-11 14:55:56 197 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx6616732bbfbc4的博客

模型和多模态模型代码论文5篇

大型语言模型微调新进展-4篇论文

5 篇有关基座大模型的论文

ChatGLM-Math：强化数学能力

如何处理多模态数据噪声不均衡动态？天大等最新《低质量数据的多模态融合》综述

cTBLS：使用对话表格增强大型语言模型

LoRA: 大模型的低秩适配

自适应剪枝让多模态大模型加速2-3倍，哈工大联合度小满推出SmartTrim

大型语言模型高效推理综述

Meta提出全新文档级嵌入框架，利用LLM来增强信息检索能力

普林斯顿伯克利最新「扩散模型」综述：应用、引导生成、统计率和优化

使用大模型来实现医疗领域的隐私信息保护

利用监督式微调（SFT），向大模型注入新知识，无需检索增强生成(RAG)！

分享10篇优秀论文，涉及图神经网络、大模型优化、表格分析

Large Language Models Paper 分享

用于生成信息提取的大型语言模型综述

克服大模型(LLM)部署障碍，全面理解LLM当前状态

大模型：我也会自监督学习

基于Ray和vLLM构建70B+模型的开源RLHF全量训练框架

Transformer

机器学习系统能在多大程度上理解数学

如何探究大模型理论？UCLA最新《深度学习统计理论》综述，详述近似、训练动力学和生成模型

Retrieval-Augmented Generation for Large Language Models: A Survey

《大型语言模型自然语言生成评估》综述

大模型的高效训练和部署技术卷出新高度

LLM包含的知识

时间序列大模型：TimeGPT

大模型+自动驾驶

中文数据让LLM变笨？

LLM推理的吞吐、时延及成本空间

欢迎