编者按： 未来我们与计算机的交互方式将发生怎样的变革？当 AI 能像人类一样自如地操控电脑和手机，我们的工作方式会有什么改变？本文深入剖析了 Anthropic、微软和苹果三大科技巨头在突破这一瓶颈上的最新进展。通过解读他们各自独特的技术路线 —— 从 Anthropic 采用像素计数方式实现精准导航，到微软将界面解析为结构化数据，再到苹果专注于移动端的多模态交互方案，文章为我们展现了 AI 驱动
编者按： 视觉功能的融入对模型能力和推理方式的影响如何？当我们需要一个既能看懂图像、又能生成文本的 AI 助手时，是否只能依赖于 GPT-4V 这样的闭源解决方案？我们今天为大家分享的这篇文章，作者的核心观点是：多模态语言模型领域正处于快速发展阶段，Llama 3.2 Vision 和 Molmo 等开源模型的出现为构建开放的多模态生态系统奠定了重要基础。本文分享了来自 Meta 的 Llama
编者按： 怎样在 10,000 个 H100 GPU 上训练大模型？如何充分利用每一块 GPU 的算力？如何在这个复杂的 GPU 网络中高效传递数据？当不可避免的硬件故障发生时，又该如何快速恢复训练进度？我们今天为大家带来的文章中，作者为我们揭示了应对这些挑战的关键策略。作者 | Soumith Chintala编译 | 岳扬我的好友 Francois Fleuret 提出了上述问题。我
编者按： 随着2024年被业界誉为“AI PC元年”，各大笔记本电脑厂商纷纷推出搭载NPU的全新AI PC，而在介绍产品性能时，“NPU”一词频频被提及。但NPU和我们所熟知的GPU之间的区别究竟是什么？我们今天为大家分享的这篇文章将和大家一起初探NPU vs GPU。简而言之，NPU专为加速AI任务而设计，包括深度学习和推理，能够高效地处理大量数据，并利用专用存储器快速执行复杂的AI算法。与GP
编者按： AI 能立即改变世界吗？为何巨额投资却难见成效？你是否也在思考：我们开发的 AI 产品真的解决了用户的需求吗？面对这些问题，许多公司陷入了困境：要么过于专注模型开发而忽视实际应用，要么盲目将 AI 融入产品而不考虑是否需要。这不仅导致资源浪费，更可能使我们错失 AI 真正的价值所在。本文深入剖析了 AI 从实验室走向市场的五大障碍，包括使用成本、产品可靠性、隐私问题、产品安全和用户界面。
编者按：LLMs 规模和性能的不断提升，让人们不禁产生疑问：这种趋势是否能一直持续下去？我们是否能通过不断扩大模型规模最终实现通用人工智能（AGI）？回答这些问题对于理解 AI 的未来发展轨迹至关重要。在这篇深度分析文章中，作者提出了一个令人深思的观点：单单依靠扩大模型规模来实现 AGI 的可能性几乎为零。这篇文章为我们提供了一个清醒的视角，提醒我们在预测 AI 未来
编者按： 在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。作者通过实验证明，在使用 Nvidia Tesl
编者按：深度学习的飞速发展离不开硬件技术的突破，而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过，为何一行简单的“.to('cuda')”代码就能让模型的训练速度突飞猛进？本文正是为解答这个疑问而作。作者以独特的视角，将复杂的 GPU 并行计算原理转化为通俗易懂的概念。从 CPU 与 GPU 的设计哲学对比，到 CUDA 编程的核心要素，再到具体的代码实现，文章循序渐进地引领读者把握
编者按： 本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码（RoPE）和字节对编码（BPE）算法。RMSNorm 技术让模型能够识别文本中的重点，SwiGLU 激活函数则如同“神笔”，让模型生成的文本更加突出重点且易于理解；RoPE 赋予了模型处理序列中词语位置的灵活性，而 BPE 算法则有效提升了模型处理长文本的能力
编者按：本文介绍的 CRAG 技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在
编者按：理想状况下，世界上的万事万物都能以文字的形式呈现，如此一来，我们似乎仅凭大语言模型（LLMs）就能完成所有任务。然而，理想很丰满，现实很骨感——数据形态远不止文字一种，大多数数据也不是以文本的形式呈现的，我们日常接触到的数据涵盖了图像、视频、音频、语音（images or video, audio, speech）等多种形态，形式丰富多元。因此，能够同时理解和处理多种数据形式的多模态大语言
编者按： 如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评估视角。此文不仅展示了一种创新的模型比较方法，更揭示了当前大语言模型在处理看似简单的空间逻辑任务时所面临的挑战。让我们得以一窥不同参数规模模型的
编者按： 如何最大限度地发挥 LLMs 的强大能力，同时还能控制其推理成本？这是当前业界研究的一个热点课题。针对这一问题，本期精心选取了一篇关于"提示词压缩"(Prompt Compression)技术的综述文章。正如作者所说，提示词压缩技术的核心目标是压缩向 LLMs 输入的上下文信息，删减非关键内容，保留语义核心，从而在不影响模型表现的前提下，降低推理成本。文中全面介绍了多种提示词压缩算法的原
编者按： 当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的 AI Agent 系统迈进，这将彻底改变我们使用人工智能的方式。作者相信人工智能的未来必将呈现出更智能、更自主的 AI
编者按： 大语言模型拥有令人惊叹的语言理解和生成能力，却也存在自主决策、与外部系统交互等方面的不足。函数调用（Function Calling）技术的出现，正是为解决这一难题而生的创新方案，它赋予了大语言模型更强的自主能力和与外部世界连接的能力，成为实现真正智能自主 Agent 的关键一环。本期我们精心为各位读者伙伴呈现一篇详实的搭建技术教程，全面介绍了如何利用函数调用技术构建
编者按： 目前，检索增强生成（RAG）系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据，尤其是文档中的表格数据，仍然是 RAG 系统面临的一大难题。本文作者针对这一痛点，提出了一种处理表格数据的新颖解决方案。作者首先系统性地梳理了RAG系统中表格处理的核心技术，包括表格解析、索引结构设计等，并评述了现有的一些开源解决方案。在此基础上，作
编者按： 大模型的出现为构建更智能、更复杂的人工智能系统带来了新的契机。然而，单一的大模型难以应对现实世界中错综复杂的问题，需要与其他模块相结合，构建出复合人工智能系统（Compound AI Systems）。本文作者深耕人工智能领域多年，洞见独到。文中系统性地介绍了四种常见的 Compound AI Systems 部署模式：RAG 系统、Conversational AI 系统、Multi-
编者按：在现实生活中，普通用户很难编写合适的提示词（prompt）来指示 LLM 完成期望任务。用户提出的 queries 往往存在词汇不准确、缺乏语义信息等问题，导致 LLM 难以理解并生成相关的模型响应。因此，如何优化 queries ，增强 LLM 对各类 query 信息
编者按： 作者在尝试教授母亲使用 LLM 完成工作任务时，意识到提示词的优化并不像想象中简单。提示词的自动优化对于经验并不丰富的提示词撰写者很有价值，他们没有足够的经验去调整和改进提供给模型的提示词，这引发了对自动化提示词优化工具的进一步探索。本文作者从两个角度分析了提示词工程的本质 —— 可将其视为超参数优化的一部分，也可将其视为一个需要不断尝试和调整的摸索、试错、修正过程。作者认为，对于拥有比
编者按：重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）系统中扮演着关键角色。通过对检索到的上下文进行筛选和排序，可以提高 RAG 系统的有效性和准确性，为最终的结果生成提供更精准的信息。本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG
编者按：目前，检索增强生成（Retrieval Augmented Generation，RAG）技术已经广泛使用于各种大模型应用场景。然而，如何准确评估 RAG 系统的性能和效果，一直是业界和学界共同关注的重点问题。若无法对 RAG 系统进行全面、客观的评估，也难以针对性地优化和改进它。因此，开发一套科学、可靠的 RAG 系统评估指标体系，对于推动RAG技术的进一步发展具有重
编者按： 自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能（如：领域智能问答、知识库构建等）严重依赖RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。如何高效准确地从PDF等非结构化数据中提取信息并加以利用，是其中一个亟待解决的重要问题。本文比较分析了多种解决方案的优缺点，着重探讨了这一问题的应对
编者按： 对于大语言模型的微调训练来说，传统的全参数微调方法需要处理数百万甚至数十亿级别的参数，计算量和显存占用都非常大。而 LoRA 这种技术方案，通过引入少量的可训练矩阵来调整预训练模型的行为，极大降低了训练所需的计算资源，是近年来大语言模型微调的一个重大突破。我们今天为大家带来的文章，介绍了众多具有代表性的 LoRA 改进方法：LoRA+ 通过为两个矩阵引入不同的学习率提高训练效率
编者按： 在当今这个由数据主导的时代，我们被海量多样的信息所环绕，但大部分数据都以非结构化的形式存在，诸如文档、电子邮件、合同等，这使得从中提取有价值的信息成为一大挑战。幸运的是，AI 领域正在悄然孕育一场革命性变革，它将帮助我们攻克长期以来困扰非结构化数据处理的种种困难。这篇文章首先解释了文档理解场景面临的主要挑战——需要处理文本、图像等多模态信息，并理解它们之间的逻辑关联。接着介绍了 DocL
编者按：随着大语言模型技术的快速发展，模型融合成为一种低成本但高性能的模型构建新途径。本文作者 Maxime Labonne 利用 mergekit 库探索了四种模型融合方法：SLERP、TIES、DARE和passthrough。通过配置示例和案例分析，作者详细阐释了这些算法的原理及实践操作。作者的核心观点是：相比训练全新模型，融合现有模型可以以更低计算成
编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 需要结合艺术与科学，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者在新加坡首届 GPT-4 Prompt En
编者按：近期，如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。今天我们推荐的这篇文章，作者认为 Prompt Engineering 是一门融合了艺术和科学的学科，需要在理解技术背景的同时，发挥创造力和战略思维。本系列文章详细介绍了作者在新加坡首届
编者按： 如今，大模型及相关的生成式人工智能技术已经成为科技产业变革的新焦点，但大模型存在一些风险（容易产生偏见内容、虚假信息），其行为难以预测和控制。因此，如何持续监控和评估大模型行为以降低这些风险成为当下产学研各界的研究难点。本文作者通过分析 ChatGPT 在 35 天内对一组固定 prompt 的回答，探索了 7 组指标来评估 LLM 的行为变化。具体的指标及其意义如下：ROUGE：评估大
编者按： 最近，随着 ChatGPT 的出现，很多人认为人工智能领域进入了大探索时代。然而这仅仅只是生成式 AI 发展的第一幕。我们今天要给大家带来的这篇文章认为，生成式 AI 已经进入第二幕，即整合时代，不同系统和企业之间将出现广泛合作，以定制解决方案将 AI 能力深度嵌入各行各业。文章详细阐述了第二幕的几个特征：(1)科技巨头纷纷与 AI 初创公司建立合作伙伴关系；(2)将
编者按： 检索增强生成(RAG)系统最近备受关注，ChatGPT的火爆更让这类系统成为广泛讨论的热点。我们今天为大家带来的这篇文章，作者Matt Ambrogi的核心观点是：构建一个基本可用的RAG系统非常简单，但要使其达到实际生产可用的程度则异常困难，需要我们投入大量精力。为此，作者详细介绍了10种策略，包括清洗数据、尝试不同索引类型、优化分块策略、使用 Base Prompt、使用元数据过滤、
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
