今天要讲博客博客都围绕一个问题主题展开：有一个包含了N个元素的集合，在向量化的参数空间里，给出任何一个节点i，如何在最短的时间复杂度的前提下找到该节点的临近向量子集。当然第一直觉是最少也要把元素和集合里其余个元素两两比较，这样才能从这个元素中找到k个最大的元素。当然如果在N不是特别大的时候，这种方法也是可以的。但是如果是类似应用在搜索推荐系统的召回环节，往往候选集规模在千万量级，这种全部遍历的方法
上次介绍了信息检索技术——布尔检索，布尔模型已经可以解决一个很重要的问题，就是找到和用户需求相关的文档(其中还需要很多处理，比如分词，归一化，去掉停用词等等，我们只是介绍主要的框架流程)。但是这样找到的文档会有很多，也许上千个，也许上万个，这远远不是用户所要的。用户也不会去从几万个文档中挑选自己要找的。因此我们需要对结果进行排序，把最能满足用户需求的文档放在最上面显示给用户，就像google和ba
转载
2024-01-09 06:40:38
60阅读
这幅图是某大厂前几年的搜索架构：搜索支撑的业务线包括商品、店铺、订单、用户等大大小小20多个，双11期间搜索
原创
2022-01-04 10:55:34
1126阅读
Elastic Stack 机器学习功能可以生成嵌入（embeddings），你可以使用它在非结构化文本中搜索或比较不同的文本片段。传统上，我们在搜索文本的时候，更加倾向于把文字进行分词，然后再对 token 进行比对：在上面，我们在文字中完全或部分匹配分词后的 token，从而完成我们的文字搜索。随着机器学习的出现，我们甚至可以直接在文字中直接使用 “问-答” 这样的方式进行搜索，比如：在这种情
在本节中，你将了解另一种机器学习搜索方法，该方法利用 Elastic Learned Sparse EncodeR 模型或 ELSER，这是一种由 Elastic 训练来执行语义搜索的自然语言处理模型。这是继之前的文章 “Elasticsearch：Search tutorial - 使用 Python 进行搜索 （三）” 的续篇。ELSER 模型在上一章中，您了解了如何使用由机器学习模型生成的嵌
简介搜索是人工智能中的一个基本问题，并与推理密切相关。搜索策略的优劣，将直接影响到智能系统的性能与推理效率。 什么是搜索根据问题的实际情况不断寻找可利用的知识,构造出一条代价较少的推理路线,使问题得到圆满解决的过程称为搜索包括两个方面：找到从初始事实到问题最终答案的一条推理路径找到的这条路径在时间和空间上复杂度最小 搜索的分类按是否使用启发信息（1）盲目搜索(Uni
转载
2024-01-05 21:11:07
67阅读
0. 前言本系列文章主要是源于对《搜索引擎的技术架构》一书的读书笔记，其中会掺杂在其他文章或书籍的内容以及我个人对搜索引擎的理解，阅读顺序也没有按照书中目录的顺序来，相比于单纯的知识点总结，本系列更像是我借由此书来谈一谈我对搜索引擎的理解。本系列文章专注于描述搜索引擎的技术架构，对搜索引擎的历史发展和当下定位不过多赘述。1. 目标简单来说，搜索引擎的目标可以用三个词来概括：更全、更快、更准。
更全
转载
2023-06-06 23:00:56
348阅读
faiss是为稠密向量提供高效相似度搜索和聚类的框架，一下是官网提供的demo# 1. 首先构建训练数据和测试数据
import numpy as np
d = 64 # dimension
nb = 100000 # database size
nq = 10000 # nb of queries
np.random.seed(1024) # make reproduciable
xb
转载
2023-12-13 01:40:37
88阅读
IVF-PQ 基于量化的向量检索算法IVF-PQ 基于量化的向量检索算法 文章目录IVF-PQ 基于量化的向量检索算法一、PQ是什么？Faiss是什么Produce Quantizer（乘积量化）Clustering：AssignPQ-search：二、IVF-PQ是什么？总结 hnsw、kd树等检索算法对底库中数据进行检索。kd树不适合维度高的数据，哈希（LSH）使用中小数据集，目前比较通用的
1 基于文本的检索音乐检索从方式上来分主要有两种：基于文本的检索和基于内容的检索。基于文本的检索是通过输入歌曲名、歌手名或者歌词来检索歌曲，此方式是目前最通用的方式。它通过对音乐库中的音乐进行特征标记完成，每首音乐都有歌名、歌手和歌词信息；用户检索时往往利用倒排索引进行关键词检索。基于文本检索的前提是用户知道歌曲的一些信息，这种方式在大多数情况下可以满足用户需求。但是这个限制在某些情况下是一个缺陷
# 搜索方案技术架构概述
随着信息技术的飞速发展，海量数据的产生使得有效的信息检索成为一项重要的研究课题。搜索方案技术架构，作为实现高效信息检索的框架，主要涉及数据采集、索引构建、查询处理和结果展示等模块。本文将探讨搜索方案的基本组件，同时提供代码示例和状态图、类图的可视化。
## 1. 系统架构
搜索方案的技术架构通常包括以下几个主要部分：
- 数据采集：从不同来源收集数据，并进行预处理
# 构建搜索服务技术架构教程
## 概述
作为一名经验丰富的开发者，我将向你介绍如何构建搜索服务技术架构。这是一项重要的任务，需要遵循一系列步骤来实现。我将通过表格展示整个流程，并为每一步提供详细的指导和代码示例。
## 流程图
```mermaid
flowchart TD
Start --> 设置搜索引擎
设置搜索引擎 --> 创建索引
创建索引 --> 索引数
搜索系统是一种用于帮助用户快速查找信息的技术系统。在当今互联网时代，搜索系统已经成为人们日常生活中不可或缺的工具。搜索系统的技术架构涉及到很多方面，包括数据爬取、索引构建、查询处理等，下面我们就来介绍一下搜索系统的技术架构。
### 数据爬取
数据爬取是搜索系统的第一步，通过网络爬虫获取互联网上的信息。常用的爬虫框架包括Scrapy、Apache Nutch等。以下是一个简单的爬虫示例：
``
# 搜索平台技术架构实现指南
在如今信息爆炸的时代，构建一个有效的搜索平台是非常重要的。作为一名刚入行的小白，您可能会问：“我应该如何开始？”本文将以一种简单易懂的方式向您展示搜索平台的技术架构和实施流程。
## 流程概述
下面是我们实现搜索平台的基本步骤：
| 步骤 | 描述 |
|----------|----
需求：有800万的中文词向量，要查询其中任意一个词向量对应的k个与其最邻近的向量。通常情况下如果向量集比较小的话，几十万个向量（几个G这种），我们都可以用gensim的word2vec来查找，但是880万词向量有16个G，加到内存中就爆炸了，而且gensim中的查找属于暴力搜索，即全都遍历比较余弦相似度来进行查找，因此几百万量级的词向量查找起来就很慢了。这里我需要用更快速的工具来进行查找，找到了两
转载
2023-12-15 14:33:15
64阅读
摘要：本文简单阐述了人工智能中的智能搜索技术的概念以及启发式搜索算法，介绍了几种启发式搜索函数的选择及其研究中遇到的难题，并从中求解来探讨解决问题的思路。关键词：智能搜索；状态空间；与/或树；博弈树；启发式搜索1.搜索的含义人工智能研究的对象大多是属于结构不良或非结构化的问题。对于这些问题，一般很难获得其全部信息，更没有现成的算法可供求解使用，因此只能依靠经验，利用已有知识逐步摸索求解。像这种根据
转载
2023-10-13 20:10:42
95阅读
什么是搜索？搜索引擎的英文为search engine。搜索引擎是一个对互联网信息资源进行搜索整理和分类，并储存在专属网络数据库中供用户查询的系统，包括信息搜集、信息分类、用户查询三部分。从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回跟用户输入的内容相关的信息列表。在搜索当中，我们假定用户有信息需求。用户的信息需求往往不能直接被搜
转载
2024-01-05 20:38:49
43阅读
1. 概述不管是搜索系统还是推荐系统中，向量召回都是一个不可或缺的一个部分，担负着重要的作用。为应对大规模数据问题，通常采用多阶段的架构，分为召回，粗排，精排，重排等多个
原创
2023-06-14 21:02:35
172阅读
1 背景做搜索引擎有有2年时间了，算是有个基本的入门。决定写一个系列博客，记录下自己所认识的搜索引擎，也希望对新入行的朋友有些帮助。2 概述搜索与推荐互联网上有海量的信息，从互联网上获取信息或娱乐，最主要的2个途径就是搜索和推荐。搜索：是用户主动去查询与获取自己想要的信息，用户有明确的意图，知道自己想要什么。基本所有app的首页，都会有一个搜索框，提供搜索功能。推荐：web或app主动向用户推荐他
转载
2023-10-24 14:51:02
74阅读
理论基础与研究 向量数据库用于非结构化文本、图片、音频、视频搜索、推荐，将他们转换为数字向量表示来进行相似性(ANN)搜索。存储和搜索高维向量是其特征之一，通常采用高级索引技术和算法如HNSW, Annoy, 或Faiss来实现。不同于SQL数据库，向量数据库更像nosql，用户接受使用sdk/API来执行搜索（虽然这个声明式不如SQL强大）。向量数据库使用的底层搜索、索引技术和推荐系统中的向量
原创
2023-10-24 13:36:30
825阅读
