回放
回放
回放
AI.x社区
- 登录/注册
社区头条
下一个十年，互联网将是什么样？雷军、周鸿祎、张朝阳、吴泳铭这些巨头大佬都释放了哪些信号？
原创出品51CTO技术栈（微信号：blog51cto）11月20日，一年一度的世界互联网大会乌镇峰会拉开帷幕，今年乌镇峰会已经来到了第11个年头，可以说乌镇也开启了一个新纪元。前来赴会的主角自然还是国内知名的互联网厂商，阿里、腾讯、三六零、小米、知乎、蚂蚁、寒武纪等，雷军、周鸿祎、张朝阳、吴泳铭、周源等一众互联网大佬齐聚浙江。想要了解未来中国互联网未来的发展走向，这些大佬们的观点不得不知。1.雷军预告端到端智驾：无需高...互联网周鸿祎雷军多模态语言模型实战之音乐转录
原创本文将以实战方式探讨基于Spotify公司的开源音乐大模型Llark并联合阿里巴巴的语音多模态大模型Qwen2AudioQwen2Audio将音乐转录成乐谱的完整过程。自动音乐转录是将MP3和WAV等音频文件转换为乐谱、吉他指法谱以及音乐家可能想要用乐器学习歌曲的任何格式的过程。本文中，我们将介绍目前用于执行上述操作的最佳工具，这些工具恰好是基于深度学习的，并采用了一种新颖的方法。当前最先进的技术这项任务的当前最先进的技术来自M...语音多模态大模型SOTA模型Llark微软、Anthropic正在拉满大模型的情绪价值
原创编辑星璇出品51CTO技术栈（微信号：blog51cto）再过3天，ChatGPT就要迎来它的第二个生日了，GPT推出也已经6年了。到目前为止，大型语言模型（LLM）一直在有效发展。它们真实、敏捷且足智多谋。甚至可以说它们在检索信息方面接近完美。但是作为“信息传递工具”，又如何呢？在最近接受ReidHoffman采访时，MicrosoftAI首席执行官MustafaSuleyman表示：“AI研究人员通常倾向于忽视信息传递工具的重要性。考虑到理解和响应人类情感...微软AnthropicChatGPT一文彻底搞懂深度学习 - 归一化（Normalization）
原创在深度学习中，归一化是数据预处理中一个至关重要的步骤。归一化技术通过调整输入数据的尺度，使得数据具有相似的分布范围，提高模型的求解速度和泛化能力。常用的归一化方法，包括批量归一化（BatchNormalization）、层归一化（LayerNormalization）、组归一化（GroupNormalization）和实例归一化（InstanceNormalization）等。Normalization一、归一化归一化（Normalization）是什么？归一化是一种数据预处理技术，旨在将数据...深度学习Seed-Music：字节跳动的AI音乐大模型，让每个人都成为音乐家
音乐，作为人类情感表达的重要艺术形式，一直以来都在不断演进与发展。在人工智能技术蓬勃发展的今天，音乐创作领域迎来了一位强有力的“伙伴”—seedmusic。字节跳动凭借其卓越的技术实力，推出了这款令人瞩目的AI音乐生成大模型，它正在以全新的方式重塑音乐创作的版图，让音乐创作变得更加触手可及，充满无限可能。一、seedmusic概述seedmusic是字节跳动精心打造的一款AI音乐生成大模型。它的核心使命是将用户简单的输入转化...字节跳动AI音乐大模型
直播
已累计开展直播 25 场
更多 已开设好课 125 个
更多
最新动态
【大奖征文】AIGC创新先锋者征文大赛悬赏召集
置顶
社区头条🎉🎉敲黑板！社区首个征文大赛华丽丽开始啦📣📣现在报名参加「AIGC创新先锋者征文大赛」创作内容，发帖成功即可获得阳光普照奖，此外更有机会获得键鼠套装、定制周边等多重好礼！还等什么，赶紧来参加！！！🌟🌟⏰活动时间：9月26日11月30日🌟参与活动可获得如下好礼：🎁好礼一：活动期间，只要发布1篇合格的带话题文章，即可获得阳光普照奖：成为AI.x社区AIGC开发者体验官，免费获得AIGC学习资料、线下技术沙龙席位、求职岗位...AIGC创新先锋者征文【智汇金秋创造季】智汇成海，致敬开发者的“超级码力”！
置顶 社区头条
热门内容榜 • 最近上榜
随着秋风送爽，我们迎来了硕果累累的季节。在这一年中程序员最特别的日子——1024程序员节，我们向改变世界的代码“魔法师”们致敬！51CTOAI.x社区联合Google携手打造【智汇金秋创造季】，汇聚技术的力量，助力每一位开发者将创意和热情转化为现实。🍁活动简介在这个收获的季节，我们为开发者们准备了一系列精彩活动，包括专业课程学习、创新技术应用案例，以及开发者“超级码力”投票活动。让我们一起探索、学习和创新，让这个...谷歌Google下一个十年，互联网将是什么样？雷军、周鸿祎、张朝阳、吴泳铭这些巨头大佬都释放了哪些信号？
原创 社区头条出品51CTO技术栈（微信号：blog51cto）11月20日，一年一度的世界互联网大会乌镇峰会拉开帷幕，今年乌镇峰会已经来到了第11个年头，可以说乌镇也开启了一个新纪元。前来赴会的主角自然还是国内知名的互联网厂商，阿里、腾讯、三六零、小米、知乎、蚂蚁、寒武纪等，雷军、周鸿祎、张朝阳、吴泳铭、周源等一众互联网大佬齐聚浙江。想要了解未来中国互联网未来的发展走向，这些大佬们的观点不得不知。1.雷军预告端到端智驾：无需高...互联网周鸿祎雷军Agent 智能体开发框架如何优雅选型？
原创1、Agent智能体进入黄金发展期Agent智能体的发展正步入黄金时代。随着众多新框架的层出不穷和对该领域的持续投入，现在Agent智能体已逐步摆脱初期的动荡，迅速崛起，成为开发者的首选，超越了RAG。那么，2024年是否会成为Agent智能体系统全面接管撰写邮件、预订航班、数据分析等任务的元年呢？这或许有可能，但距离这一目标还有许多挑战需要克服。在构建Agent智能体的过程中，开发者们不仅要考虑选用哪种大模型、应用场景和技...Agent智能体一文彻底搞懂深度学习 - 归一化（Normalization）
原创 社区头条在深度学习中，归一化是数据预处理中一个至关重要的步骤。归一化技术通过调整输入数据的尺度，使得数据具有相似的分布范围，提高模型的求解速度和泛化能力。常用的归一化方法，包括批量归一化（BatchNormalization）、层归一化（LayerNormalization）、组归一化（GroupNormalization）和实例归一化（InstanceNormalization）等。Normalization一、归一化归一化（Normalization）是什么？归一化是一种数据预处理技术，旨在将数据...深度学习大模型上层应用本质上是一个能力整合的过程
原创“技术的应用并不是一个孤岛，而是一个能力整合和串联的过程”很多人喜欢把大模型当做一个独立的技术和应用，事实上各种应用场景是一个能力整合的过程，而不是独立的技术孤岛。思考一个问题，你知道网络上一些由AI合成的视频是怎么生成的吗？它的背后隐藏着那些能力？大模型构建上层应用以网上爆火的AI视频类为例，一个AI视频使用到了哪些技术？首先，视频生成和处理的能力；其次，语音合成能力；再者，音画同步的能力；最后，...大模型生成式模型基于Agent的金融问答系统：Agent框架的构建
原创前言上一章【项目实战】基于Agent的金融问答系统：RAG检索模块初建成，我们已经完成了RAG的基本流程，本章我将梳理Agent的运行框架以及介绍如何将RAG数据和SQL查询数据进行整合，实现金融问题的自主回答。核心问题在进行Agent框架介绍之前，我们需要探讨一个核心问题，即：用户输入一个问题后，如何实现用户问题的自动查询(是SQL查询还是RAG检索)。意图识别方案关于这个问题，我们曾有一个方案如下：对于用户输入的问题...Agent基于Agent的金融问答系统：RAG检索模块初建成
原创前言我们在上一章《【项目实战】基于Agent的金融问答系统之项目简介》中简单介绍了项目背景以及数据集情况，本章将介绍RAG模块的实现。功能列表参考之前所学内容《大模型之初识RAG》，我们需要实现如下功能：向量库的基础功能向量库数据入库文件导入PDF文件的读取PDF文件的切分调用向量库接口入库文件检索连接向量库检索器检索文件开发过程1、规划工程文件项目开始之后，我们如果能够抑制住直接撸代码的冲动，改为提前做好规划...AgentRAG基于Agent的金融问答系统：项目简介
原创前言历经27天，我们小组所做的金融问答系统项目已经告一段落，目前该项目在天池大赛排行榜暂列56名，虽然排名还比较靠后(还有很多地方可以优化)，但是整个项目的实战锻炼还是收获不少。因此，我计划将从零构建问答系统的这一过程总结分享出来，既是对过去的成果总结，也是抛砖引玉，为其他AI从业人员及爱好者提供参考。文章目录整个项目实战过程中，我们还是运用了非常多的新老技术以及软件工程理念，例如：AI相关：Agent...Agent【RAG】OPEN-RAG：利用开源大模型增强检索增强推理
原创检索增强生成（RAG）已被证明可以提高大型语言模型（LLMs）的事实准确性，但现有方法在有效使用检索到的证据方面往往存在有限的推理能力，特别是当使用开源LLMs时。引入了一个新颖的框架OPENRAG，增强基于开源大型语言模型的检索增强推理的能力，特别是处理复杂推理任务时的有限推理能力。方法1.LLMs转MOE模型转换：OPENRAG将任意密集的LLM转换为参数高效的稀疏专家混合（MoE）模型。该模型不仅能够自我反思，还能处理复杂的推...RAG开源大模型Kimi官宣，国内首个对标OpenAI的数学模型来了
一年前，Kimi凭借其“长文本”功能迅速占据市场，成为中国首个因技术创新而广受欢迎的AI应用。如今，Kimi再次迎来技术的重大升级。11月16日，在Kimi正式上线一周年之际，月之暗面发布了最新数学模型k0math。图片k0math的卓越表现在多项基准能力测试中，k0math的数学能力已经能够与全球领先的OpenAIo1mini和o1preview模型相媲美，甚至在中考、高考、考研及入门竞赛题MATH等四个数学基准测试中超越了它们。特别是在MATH测试中，k0...KimiOpenAIAILLM-ESR@NeurIPS 2024: 大语言模型破解推荐系统的长尾难题
在现实世界的推荐系统中，大多数用户只与少数项目互动，而大多数项目很少被消费，这导致了所谓的长尾挑战。为了解决这一问题，研究者们提出了一种新框架LLMESR，它利用大型语言模型的强大语义理解能力来增强推荐系统的性能，专门优化那些互动较少的用户和项目的效果。序列推荐系统（SRS）旨在基于用户的历史互动预测用户随后的选择，并在电子商务和社交媒体等多个领域得到应用。然而，在现实世界的系统中，大多数用户只与少数项...LLM大语言模型从 Cursor 看面向聊天编程（CHOP）：如何重新定义开发者与代码的关系
精华编程领域的发展历程中，曾出现过许多革命性的概念，深刻改变了编程思想和流程。例如，面向对象编程（ObjectOrientedProgramming，OOP）强调通过对象封装状态与行为，简化了复杂系统的设计；面向过程编程（ProceduralProgramming）如今，随着大型语言模型（LLM）技术的快速进步，面向聊天编程（ChatOrientedProgramming，CHOP）1.什么是面向聊天编程（CHOP）？面向聊天编程（CHOP）是一种利用大型语言模型（LLM）生成和优化代码...CursorCHOP工具一文图解BERT注意力机制
2018年是自然语言处理领域的转折点，一系列深度学习模型在从问答到情感分类的NLP任务上取得了最先进的成果。谷歌的BERT算法已经成为一种“一个模型来统治其他所有NLP模型”，基于其在各种各样的任务上的优异性能。这篇文章通过可视化输出，尝试使用BertViz进行交互式演示。https:github.comjessevigbertvizBERT建立在两个关键思想的基础上，这两个思想是NLP最近取得的许多进展的原因：Transformer架构；无监督预训练。T...BERT注意力机制使用kimi大模型开发招投标爬虫程序
首先说下背景，我是个非技术出身的产品经理，除了PM平时工作中所需要掌握的技术常识和概念之外，我只自学过一些前端和python技术知识，没有实战项目经验，可以说是几乎没有任何的程序开发经历。之前在网上看到有些编程小白使用ChatGPT生成代码写出了浏览器插件工具。心想要不我也试试？正好我需要写一个程序来帮忙爬取项目招标信息进行市场分析，借助最近比较火的kimi大模型来试试。在整个和kimi“结对编程”的过程中，我问了不...kimi大模型开发应对生成式AI的复杂性：HPE如何简化AI平台的构建与运维
生成式AI的挑战数据准备和管理：生成式AI的训练需要整合分散在多个系统中的数据，数据格式复杂，常包含缺失值和噪声，影响模型的训练效果。企业需高效收集、清洗、转换这些数据，并且要满足大规模数据处理和高速存储需求。同时，必须确保数据的安全和隐私合规。模型训练和部署：训练生成式AI模型需要大量计算资源和长时间的训练，硬件成本高且训练周期长。选择合适的模型架构和超参数至关重要，并且需要有效的版本控制来管理多...生成式AI运维从零开始掌握OpenCV：Python图像处理最详细入门教程（实战代码全解析）
本篇文章将为你详细解析OpenCV在Python中的应用，从基础安装到深入实战，并提供全套可运行代码，帮助你快速掌握这一强大的图像处理工具。无论你是初学者还是有一定经验的开发者，都能从中获益匪浅。OpenCV简介OpenCV是由Intel公司于1999年发起的开源计算机视觉库，旨在提供一种通用的基础设施，以加速计算机视觉应用的研究与开发。它支持多种编程语言，包括C++、Python和Java，并可在多个平台上运行，如Windows、Linux、macOS、...OpenCV人工智能Python论文解读：迄今为止最好的 RAG 技术栈
概述这篇文章深入探讨了Wang等人在2024年的研究，旨在为构建高效的检索增强生成（RAG）系统提供最佳实践建议。文章由TowardsAI的联合创始人兼CTOLouisFrancois撰写，分析了RAG系统的核心组件与策略。主要内容摘要查询分类：通过分类任务决定是否需要进行检索，确保系统只在必要时检索外部数据。数据分块：为数据选择合适的块大小至关重要，理想的块大小在256至512个token之间，有助于减少噪音和提高效率。元数据与混合搜索：元...RAG技术栈系统中科大重磅开源StableV2V：专注于「人机交互一致性」的视频编辑方法
前言大家好，我是Alonzo。随着OpenAI在今年年初公布了Sora的demo，videogenerationediting的工作呈现出井喷式发展的趋势，同时，我们课题组也在积极地进行许多探索。今天，很高兴能跟大家分享我们课题组的最新研究成果——StableV2V——一个专注于「人机交互一致性」的视频编辑方法。在开始详细介绍StableV2V的具体工作之前，我们已经将我们的代码、模型、权重开源，欢迎大家来我们的项目仓库提issues或PR～关于StableV2V的具体...AI生成【RAG】表格场景RAG怎么做？TableRAG：一种增强大规模表格理解框架
原创前面很多期介绍了密集文档场景的RAG方法，今天来看看大量表格场景的RAG怎么做的。现有结合大模型的方法通常需要将整个表格作为输入，这会导致一些挑战，比如位置偏差、上下文长度限制等，尤其是在处理大型表格时。为了解决这些问题，文章提出了TableRAG框架，该框架利用查询扩展结合模式和单元格检索，以在向LLM提供信息之前精确定位关键信息。这种方法能够更高效地编码数据和精确检索，显著减少提示长度并减轻信息丢失。表提示...RAGTableRAG【LLM & KG】浅谈基于LLM的三阶段自动知识图谱构建方法
原创文章指出，在以前的方法中，使用LLM生成三元组时，必须预定义好schema，假如schema数量很多复杂，很容易超过LLM的上下文窗口长度。并且，在某些情况下，没有可用的固定预定义schema。方法一、EDC框架EDC框架提出了一个名为提取定义规范化（EDC）的三阶段框架：先进行开放信息提取，然后定义schema，最后进行规范化。解决知识图谱构建问题。1.开放信息提取（OpenInformationExtraction）：利用LLMs进行开放信息提取，通过少量的...LLMKG知识图谱支持20+视觉任务，多项SOTA！可扩展多任务视觉基础模型LaVin-DiT：融合时空VAE与DiT
文章链接：https:arxiv.orgpdf2411.11505亮点直击高效处理高维视觉数据创新的联合扩散Transformer强大的任务泛化能力显著性能与效率提升总结速览解决的问题当前的大型视觉模型大多直接从自然语言处理架构中改造而来，使用低效的自回归技术，这种方法破坏了视觉数据中至关重要的空间关系，并且在高维度视觉数据的生成任务中表现有限。提出的方案空间时间变分自编码器(spatialtemporalvariationalautoencoder)编码高维视觉数据到...AI模型多模态语言模型实战之音乐转录
原创 社区头条本文将以实战方式探讨基于Spotify公司的开源音乐大模型Llark并联合阿里巴巴的语音多模态大模型Qwen2AudioQwen2Audio将音乐转录成乐谱的完整过程。自动音乐转录是将MP3和WAV等音频文件转换为乐谱、吉他指法谱以及音乐家可能想要用乐器学习歌曲的任何格式的过程。本文中，我们将介绍目前用于执行上述操作的最佳工具，这些工具恰好是基于深度学习的，并采用了一种新颖的方法。当前最先进的技术这项任务的当前最先进的技术来自M...语音多模态大模型SOTA模型Llark#AIGC创新先锋者征文大赛# 告诉你一个小秘密！树莓派跑LLM难上手？为什么不试试Intel
原创 精华 社区头条【本文正在参与AI.x社区AIGC创新先锋者征文大赛】https:www.51cto.comaigc2223.html前言大型语言模型（LLM）通过其卓越的文本理解与生成能力，为机器智能带来了革命性的进步。然而，这些模型的运行通常需要消耗大量的计算资源，因此它们主要部署在性能强大的服务器上。随着技术的发展和边缘计算的兴起，现在有潜力在更小巧、便携的设备上部署这些模型。例如，RaspberryPi树莓派和Intel哪吒开发套件等单片机。尽管体积小巧，但它...OpenVINOIntel 哪吒开发套Qwen2.5魔搭社区Phi-3.5一文彻底搞懂深度学习 - 优化器（Optimizer）
原创在深度学习中，优化器（Optimizer）是一个核心概念，它负责调整神经网络的权重和偏置，以便最小化损失函数，从而提高模型的准确性和性能。常见的优化器，包括梯度下降系列（批量梯度下降BGD、随机梯度下降SGD、小批量梯度下降MBGD）、动量法、NAG、Adagrad、RMSprop以及Adam等，它们的核心目标是通过调整学习率、利用梯度信息等手段，高效地最小化损失函数，从而优化和提升神经网络模型的性能。Optimizer一、优化器优化器（Opti...深度学习优化器RAG现有框架总结：7个GraphRAG+17个传统RAG | 推荐收藏
原创 社区头条一、17个传统RAG框架传统的RAG（RetrievalAugmentedGeneration）框架，是一种集成了多个关键环节的综合体系，这些环节包括文本切块（Chunk）、向量转换（向量化）、数据存储、信息检索、二次排序、内容生成、内容评估等。该框架的精髓在于能够灵活适应各种策略，例如文档处理方法和检索策略等。其中，具有代表性的实现有RAGFlow（专注于深度文档理解）、QAnything（引入重排序Rerank机制）以及高度可配置的Dify等。这些实现虽然...RAGGraphRAG大模型生成式模型实现的区别——VAE、GAN、Diffusion和transformer
原创 社区头条“生成式模型的表象就是从训练数据的数学分布中学习规律，然后生成新的相似的数据样本。”在之前的文章中虽然也介绍过生成式模型，但更多的是从非技术的角度理解什么是生成式模型；而今天我们来学习一下，生成式模型的实现。生成式模型什么是生成式模型？从专业的角度来说，生成模型是一类能学习数据分布并生成新样本的机器学习模型；通过捕捉训练数据的数学关系，创建出与真实数据相似但从未出现过的新示例。生成式模型的原...生成式模型Qwen2-VL (2B、7B、72B)：迄今为止最好的开源视觉模型！！（击败 Claude 和 GPT-4o）
阿里Qwen团队推出了一些很棒的NewVision语言模型，第一个模型是Qwen2VL2B，然后是8B，然后是72b。在这三个模型中，只有2B和8B模型目前是开源的，而72b模型尚未开源，这有点令人失望，但我认为这没关系，因为我们这些凡人无论如何都无法运行它，72b模型可以通过API获得：https:dashscope.console.aliyun.com我给了一个这样的图片：这是他的结果Qwen2VL72B：这是一张展示图像转换前后的对比图。图片的左上角有“Ide...Qwen2-VL开源视觉模型免费使用！Claude 3.5 引领人工智能新时代的强大模型
在人工智能快速发展的今天,一个名叫Claude3.5的AI模型悄然崛起,引发了科技界的广泛关注。这个被誉为"最强大模型"的AI到底有何过人之处它又将如何影响我们的生活和工作让我们一起深入探索Claude3.5的神奇世界,揭开它的神秘面纱。Claude3.5:AI界的"超级英雄"Claude3.5是由人工智能研究公司Anthropic开发的大型语言模型,被认为是目前最先进、最强大的AI模型之一。它不仅继承了前代模型的优秀特性,还在多个方面实现了质的飞跃,堪称A...Claude 3.5人工智能模型测试时训练(TTT)太强了！
论文笔记分享，标题：TheSurprisingEffectivenessofTestTimeTrainingforAbstractReasoning测试时训练（TTT）是个新概念：在推理过程中使用从输入数据派生的损失暂时更新模型参数文章的结论：TTT显著提高了ARC任务上的性能，与基线微调模型相比，准确率提高了高达6倍；将TTT应用于一个8B参数的语言模型，在ARC的公共验证集上达到了53%的准确率，将公共和纯神经网络方法的最新水平提高了近25%。通过将我们的方法与最近的程序生成...训练TTTLoRASeed-Music：字节跳动的AI音乐大模型，让每个人都成为音乐家
社区头条 热门内容榜 • TOP8音乐，作为人类情感表达的重要艺术形式，一直以来都在不断演进与发展。在人工智能技术蓬勃发展的今天，音乐创作领域迎来了一位强有力的“伙伴”—seedmusic。字节跳动凭借其卓越的技术实力，推出了这款令人瞩目的AI音乐生成大模型，它正在以全新的方式重塑音乐创作的版图，让音乐创作变得更加触手可及，充满无限可能。一、seedmusic概述seedmusic是字节跳动精心打造的一款AI音乐生成大模型。它的核心使命是将用户简单的输入转化...字节跳动AI音乐大模型Extract-Refine-Retrieve-Read (ERRR)：优化大语言模型的RAG（检索增强查询）
原文：QueryOptimizationforParametricKnowledgeRefinementinRetrievalAugmentedLargeLanguageModels一、研究背景与挑战在自然语言处理领域,大语言模型(LLMs)取得了显著进展。这些模型通过在海量语料上进行训练,展现出理解人类文本和生成高质量响应的卓越能力。然而,大语言模型存在一个重要的局限性它们难以准确捕捉信息的动态更新。因为这些模型是在静态语料库上预训练的,当面对最新或不常见的信息时,它们往往会生成过时或不准...大语言模型RAGAgent：我要自己管钱包了！
嘿，大家好！这里是一个专注于AI智能体的频道今天给家人们分享一些智能体应用的目前的一些好的消息。今年在AI开发工具领域有一个逐渐兴起的观点：具有更好"AI计算机交互接口"的工具，将有比较大希望能解决AIAgent的可靠性和准确性问题。目前这种趋势已经在多个产品中体现出来，比如E2B平台(https:github.come2bdevE2B)，以及由JeremyHoward发起、现在被Anthropic采用的llms.txt文档规范。最新Vercel也推出了一个通用的A...AgentAI开发使用Cursor和Claude AI打造你的第一个App
社区头条1Cursor简介Cursor是一款人工智能代码编辑器，基于VisualStudioCode开发，具备无缝集成的AI功能。它支持多种人工智能模型，能够与OpenAI、Anthropic、Google和Azure等主流平台实现集成。在实际使用中，Cursor与Claude3.5模型的配合效果尤为理想，这一模型被成功应用于应用程序的开发过程中。2开始使用Cursor首先，需要在设备上安装Cursor。安装完成后，创建账户并登录。登录后，可以创建一个新的文件夹，从头开始编写代码。对于...CursorClaudeAI微软、Anthropic正在拉满大模型的情绪价值
原创 社区头条编辑星璇出品51CTO技术栈（微信号：blog51cto）再过3天，ChatGPT就要迎来它的第二个生日了，GPT推出也已经6年了。到目前为止，大型语言模型（LLM）一直在有效发展。它们真实、敏捷且足智多谋。甚至可以说它们在检索信息方面接近完美。但是作为“信息传递工具”，又如何呢？在最近接受ReidHoffman采访时，MicrosoftAI首席执行官MustafaSuleyman表示：“AI研究人员通常倾向于忽视信息传递工具的重要性。考虑到理解和响应人类情感...微软AnthropicChatGPTLLaVA-o1：第一个能够进行自发、系统推理的视觉语言模型，类似于 GPT-o1
原创 精华01、概述近年来，随着人工智能技术的快速进步，视觉语言模型（VLM）开始在多模态任务中崭露头角。然而，相较于文字生成领域的巨头如GPTo1，这些模型在处理复杂视觉问答任务时表现得力不从心。它们通常缺乏系统的推理能力，无法有效组织信息，导致对图片和文字的组合理解存在明显局限。针对这一痛点，由北京大学、清华大学、鹏城实验室、阿里巴巴达摩院和美国李海大学联合研究团队推出了一款全新的视觉语言模型——LLaVAo1。这一...LLaVA-o1大语言模型Qwen开源强大、多样、实用的Qwen2.5-Coder系列（0.5B/1.5B/3B/7B/14B/32B）
原创01、概述在软件开发的世界里，智能、高效、专业的编程语言模型始终是行业发展的关键推动力。尽管现有的编程模型在自动化代码生成、自动补全和推理方面已经取得了显著进展，但仍然存在不少问题，诸如在处理多样化的编码任务时效率不高、缺乏领域特定的专业性，以及在现实编程场景中的应用困难。尽管大型语言模型（LLM）不断崛起，专门针对代码的模型却往往难以与其专有的同行竞争，尤其是在通用性和适用性方面。这使得业界对于一...大语言模型OuteTTS-0.1-350M 发布：一种新颖的文本到语音 (TTS) 合成模型，利用纯语言建模，无需外部适配器
原创01、概述在日益增长的语音合成需求中，文本转语音（TTS）技术快速进步，但也面临不少挑战。传统TTS模型往往依赖复杂的多模块架构，如深度神经网络、语音合成器、文本分析器等适配器，以生成自然的人类语音。这种复杂度带来了大量资源消耗，对设备的要求极高，使得许多设备无法轻松使用。尤其是个性化的语音生成和应用场景，传统TTS技术往往需要庞大的数据集和较高的硬件配置，对此，OuteAI发布了OuteTTS0.1350M，为TTS领域带来...大语言模型【多模态 & 文档智能】一次多模态大模型表格识别解析探索小实践记录
表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路前期文章也介绍了传统视觉的方法进行表格结构识别的方法，【文档智能】轻量级级表格识别算法模型SLANet关于表格识别在这里就不做过多的介绍了。国庆期间，笔者利用一个较长的时间段，训练了一个多模态的表格识别模型，效果还不错，特此记录一下多模态的效果。训练...多模态文档智能微调大型语言模型（LLM）的五个技巧
原创 社区头条数据质量、模型架构以及偏见缓解方面的专家建议开发人员可以掌握LLM微调来提高人工智能开发的性能和效率。为什么微调至关重要大型语言模型（LLM）配备了处理广泛任务的通用能力，包括文本生成、翻译、提取摘要和回答问题。尽管LLM的性能表现非常强大，但它们在特定的任务导向型问题或特定领域（例如医学和法律等）上仍然效果不佳。LLM微调是指对预训练好的LLM进行进一步训练，使用更小、更具体的数据集，以增强其在特定领域任务...LLM大型语言模型人工智能【文档智能】轻量级级表格识别算法模型-SLANet
原创前言前面文档介绍了文档智能上多种思路及核心技术实现《【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路》，表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。本文介绍的轻量级的表格识别算法模型——SLANet，旨在在保证准确率的同时提升推理速度，方便生产落地。SLANet综合了PPLCNet作为基础网络，采用CSPPAN进行特征融合，并引入Attention机制以实现结构与位置信息的精...文档智能SLANet图解DSPy：Prompt的时代终结者？！
社区头条DSPy是一种编程模型，旨在改进语言模型（LM）在复杂任务中的使用方式。传统上，LM使用特定的提示模板（Prompt）进行控制，这些模板是基本前期大量的尝试而找到的预设指令。DSPy通过将LM流水线抽象为文本转化图谱，例如被其他申明模块触发的LM的命令计算图谱。1.PromptEngineering要理解DSPy，需要先理解提示词工程PromptEngineering。提示词工程也称之为上下文提示词或者上下文学习。它指的是在不更新模型权重的情况下引导LLM的...DSPyPrompt大模型LLM实践系列-细聊LLM的拒绝采样
最近学强化的过程中，总是遇到“拒绝采样”这个概念，我尝试科普一下，争取用最大白话的方式让每个感兴趣的同学都理解其中思想。拒绝采样是LLM从统计学借鉴过来的一个概念。其实大家很早就接触过这个概念，每个刷过leetcode的同学大概率都遇到过这样一个问题：“如何用一枚骰子获得17的概率？”答案很简单：把骰子扔两次，获得6636种可能的结果，丢弃最后一个结果，剩下的35个结果平分成7份，对应的概率值便为17。使用这种思想...LLM拒绝采样映射【RAG&多模态】再看多模态RAG进行文档问答的方案
先说结论：这篇文章的方法和前面介绍的两个多模态RAG的工作非常相似，可以看看往期介绍：【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索【RAG&多模态】多模态RAGVisRAG：基于视觉的检索增强生成在多模态文档上的应用M3DOCRAG同样也指出，现有的方法要么专注于单页文档的多模态语言模型，要么依赖于基于文本的RAG方法，这些方法使用OCR等文本提取工具。然而，这些方法在实际应用中存在困...RAG多模态【多模态&RAG】多模态RAG ColPali实践
原创关于【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索前面已经介绍了（供参考），这次来看看ColPali实践。所需权重：多模态问答模型：Qwen2VL72BInstruct，https:modelscope.cnmodelsQwenQwen2VL72BInstruct基于PaliGemma3B和ColBERT策略的视觉检索器：ColPali（LoRA）：https:huggingface.covidorecolpaliColPali（基座）：https:huggingface.covidorecolpaligemma3bmix448base多模态检索问答实践...多模态RAGColPali4种革新性AI Agent工作流设计模式全解析
社区头条AIAgent的四种关键设计模式如下：反思：LLM检查自己的工作，以提出改进方法。使用工具：LLM使用网络搜索、代码执行或任何其他功能来帮助收集信息、采取行动或处理数据。规划：LLM提出并执行一个多步骤计划来实现目标。多智能体协作：多个AI智能体一起工作，分配任务并讨论和辩论想法，提出比单个智能体更好的解决方案。1.反思如图1所示，反思模式允许AIAgent在完成任务后对自身的输出进行再次审视和评估。在这种模式下，AIAge...AIAgent模式HunYuan MoE：聊一聊 LLM 参数量、计算量和 MFU 等
一、背景最近在看腾讯最新混元大模型的Paper时（[2411.02265]HunyuanLarge:AnOpenSourceMoEModelwith52BillionActivatedParametersbyTencent[1]），看到了如下关于计算Budget的公式由于我们的工作中也会经常根据计算资源Budget评估LLM预训练时间，而该公式与我们平常的计算方式不太一致；此外，如下图所示，我们也看到很多文章中将上述公式中的第二项理解为长序列情况下Attention的额外计算开销，而将6ND>9.6ND看成Router引入的...LLM参数量MFURAG系统的检索机制真的需要那么"完美"吗？
1、重磅揭秘：RAG系统的检索机制真的需要那么"完美"吗？在人工智能领域，RAG（检索增强生成）技术正在成为解决大语言模型局限性的关键方案。但是，一个有趣的问题出现了：RAG系统中的检索部分，真的需要追求100%的准确性吗？最近，一项研究给出了令人意外的答案。这项研究首次深入探讨了RAG系统中检索器和阅读器两大组件的关系。研究团队通过大量实验发现，即使降低检索准确度，对最终的问答效果影响也相对较小。换句话说，我们...RAG系统效率一文彻底搞懂深度学习 - 模型评估（Evaluation）
原创 社区头条 热门内容榜 • TOP7深度学习广泛应用于图像识别、语音识别、自然语言处理等多个领域。模型通过大量数据的学习和训练，能够自动提取数据中的特征，并基于这些特征进行预测和分类。如何准确评估这些模型的性能，确保它们在实际应用中能够表现出色，就需要依赖于模型评估这一关键环节。在模型评估中，我们通常会使用各种评估指标来衡量模型的性能。分类问题常用准确率、精确率、召回率和F1分数等指标；回归问题则使用均方误差、平均绝对误差等指标。...深度学习模型评估IdentifyMe：一个具有挑战性的长文本指代消解基准测试
1引言共指消解（CR）是文本理解的一个基本任务。尽管LLMs在广泛的NLP任务上取得了巨大进展，但它们在CR上的表现相对不尽人意，甚至在指称检测上也面临困难。通过广泛分析，Gan等人（2024）的工作已经确定，在典型的CR设置中，由于基于跨度的输出格式不适合LLMs，因此低估了LLMs出色的指称理解能力。他们建议调整CR数据集和任务指标，以支持LLMs的评估。沿着这些思路，我们创建了IdentifyMe基准测试，用于MCQ格式的指称消解，这...LLMsMCQIdentifyMe使用MCTS显著提升LLM在复杂任务的推理能力
精华一、概述•Title:ReasoningwithLanguageModelisPlanningwithWorldModel•URL:https:arxiv.orgabs2305.14992•Code：https:github.commaitrixorgllmreasoners•Demo:https:github.commaitrixorgllmreasonersblobmaindemo.ipynb1Motivation•尽管COT表现不错，但是当前LLM在生成plan、复杂数学推理、逻辑推理时仍然表现不够好。•LLMs缺乏内部“世界模型”来预测世界状态（例如环境状态、中间变量值）并...MCTSLLMMCTS超强！一区直接写！基于SSA+Informer-SENet故障诊断模型
1模型创新点介绍1.1时序特征捕捉与建模使用Informer的编码器层来捕捉长故障信号时序依赖特征长时间序列处理：传统的RNN和LSTM等方法在处理长时间序列时存在计算效率低、梯度消失等问题。Informer通过改进Transformer架构，使用ProbSparseSelfAttention机制，有效地提高了计算效率，特别是对于长时间序列数据。全局特征提取：通过多头注意力机制，Informer能够捕捉序列数据中的全局特征和长时间依赖关系，确保对故障信号的时序特...SSASENet模型
