论文原文这里我先说一下自己的感受,这篇论文整体看下来,没有太多惊艳的地方。核心就是利用知识图谱,通过模型对文决知识之间的连接问题。
本文介绍了召回系统的两种评估方式:离线评估和在线评估。离线评估基于标注数据,通过准确率、召回率、F1-Score 等际效果。
稠密向量检索,也称为Dense Retrieval,是一种基于深度学习的检索方法。它通过将文本转换为高维空间中的连续向量表示,然后使用
在现代信息检索系统中,向量搜索已成为提升检索质量和效率的关键技术。随着数据量的激增,如何高效地处
最近的一部分工作,有在做RAG的benchmark。年初三四月份(2024)的时候,调研已有的测试方案的时候
近一年,es发布了很多个版本。本文,主要整理了es关于knn搜索相关的优化项。也放了官方文档的链接。
第一次对索引进行查询时,如果预加载的文件(如 .vec、.vem、.vex 文件)尚未被加载到内存中,Elasticsearch 需要从磁盘读取这些文件
RAG中的文档解析需求:需要的是文档的完整段落,标题,图片,表格。我们希望删除的是md格式,或者josn格式。对比。
这篇论文是关于Qwen2系列的技术分析报告,由阿里巴巴集团的Qwen团队撰写。Qwen2是一系列大型语言模型和大型多模态模
相关性模型主要关注的是query和doc的相关性。例如给定query,和1000个doc,找到哪个doc是好query最相关的。
最近大半年时间都在做RAG的工作,分享一点个人探索的方向。和提升的方案。文章中会分享是如何做的,以及对应的效果。
如果说,rerank能够让RAG的效果实现百尺竿头更进一步,那么LLM微调应该是RAG效果提升的最后一步。把召回的数据,经过粗排,重排序后
过去四年时间,都在处理结构化数据的存储优化相关的工作。最近一段时间在做RAG相关的工作。非结构数据的存储与检索,接触的也越来越档理解方面的一些心得。
毫不夸张的说PDF解析工具MinerU是照进RAG黑暗中的一道光——这是我对它的评价。我测过太多了文档解析工具! 最
最近有一个新开源的版面分析的模型,做PDF版面分析效果非常好。而且对公式的解析效果比较好。虽然现在star数量不高,但是绝
这篇论文,给我很强的割裂感和冲击感。非常值得阅读。我是做RAG相关研究工作的 ,过去一年在做传统的RAG,就是标准的文档
通俗来讲,就是query整形。又可以理解为是一个转接头,把用户送来过来的奇奇怪怪的query(或者说是在搜索引擎看来是奇奇
这篇文章分享给做AI搜索的朋友们。少走一些重复的路把。希望这些结果能够帮到大家。这里再分享一些心得
随着大模型的火热,RAG也重出江湖,成为AI产品中最火热的成员之一。特别是2024年到现在,越来越多的RAG产品
自然语言处理(NLP)在搜索召回领域中的应用场景非常广泛,它通过理解和分析人类语言,提高了信息检索的准确性和效率。
自然语言处理(NLP)在搜索引擎优化上的工作主要集中在提升搜索结果的相关性和准确性,以及改善用户的搜索体验。
他山之石可以攻玉,最近在看搜广推的内容。看到了美团,腾讯、阿里、蘑菇街等分享的搜广推的文章。本篇文章是一个知识目录,可以很好的看到搜广推近10年的发展变化。
搜广推,解决的核心问题是信息过载,在海量的数据中,信息中做大海捞针的事情。我自己的真是感受,搜索要分为不同的领
搜索引擎的工作流程包括爬虫抓取网页内容、索引处理、查询处理、检索与排名以及结果呈现。在查询处理阶段,搜索引擎需进行多
文本检索任务可以定义为: 给定一个文档集合,用户输入一个query来表达信息检索需求,借助于一个文本检索系统返回相关文档给用户。日常生
参考官方文档来操作,基本没太大的问题。一些细节,我在本篇文章中补充了出来。这篇文章主要讲以源码的方式启动后端
开源的RAG本地知识库检索的有不少。最近比较火热的就是 QAnything 和 RAGflow。其中Qanything 是相对比较早的。并且它是网易开源的,各种都相对更正规一些。安装部署文档也都比较齐全。dify 是开源做工作流的,其中也有RAG的部分。但是做的很粗糙。如果想做自己的本地知识库开发,可以在Qanything上做。我看过QAnything 和 RAGflow dify的源
开源RAG和workflow技术中,大家各有特色,个有千秋。这里是我的深度调研的感受总结。
23款 mac pro M232G内存注意,花内存比较多一些。参数规模越大,需要的内存越多。我部署了一个7B的qwen就花了16G的内存空ference的安装文档。
我的环境是mac m2 32G ,没办法用GPU。这是X inference的安装教程。这里是mac部署2B的教程。还有测试推理的效果,速度
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号