elasticsearch背后有趣的故事

许多年前，一个刚结婚的名叫 Shay Banon 的失业开发者，跟着他的妻子去了伦敦，他的妻子在那里学习厨师。在寻找一个赚钱的工作的时候，为了给他的妻子做一个食谱搜索引擎，他开始使用 Lucene 的一个早期版本。直接使用 Lucene 是很难的，因此 Shay 开始做一个抽象层，Java 开发者使用它可以很简单的给他们的程序添加搜索功能。他发布了他的第一个开源项目 Compass。后来 Shay 获得了一份工作，主要是高性能，分布式环境下的内存数据网格。这个对于高性能，实时，分布式搜索引擎的需求尤为突出， 他决定重写 Compass，把它变为一个独立的服务并取名 Elasticsearch。

第一个公开版本在2010年2月发布，从此以后，Elasticsearch 已经成为了 Github 上最活跃的项目之一，他拥有超过300名 contributors(目前736名 contributors )。一家公司已经开始围绕 Elasticsearch 提供商业服务，并开发新的特性，但是，Elasticsearch 将永远开源并对所有人可用。

据说，Shay 的妻子还在等着她的食谱搜索引擎…

elasticsearch简介

简单地说， Elaaticsearch 是一个分布式的使用 REST 接口的搜索引擎。Elasticsearch是一个基于 Apache Lucene （TM）的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。在 1999 年，Doug Cutting 创建了一个叫做 Lucene 的开源项目：

  • 一个完全用 Java 编写的搜索引擎库
  • 截止2005年，是一个顶级的 Apache 开源项目
  • 提供强大的全文搜索功能

Lucene 只是一个库。Lucene 本身并不提供高可用性及分布式部署。想要发挥其强大的作用，你需使用 Java 并要将其集成到你的应用中。Lucene 非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。

在 2004 年， Shay Banon，也就是现在 Elastic 的 CEO，开发了一个叫做 Compass 的开源项目：

  • 构建于 Lucence 之上
  • 目的是使得 Lucene 搜索更容易集成到 Java 应用中去
  • 可扩展性变得尤为重要

在 2010 年，Shay 完全重新编写了 Compass 以实现如下的两个目的：

  • 从一开始设计之初，分布式部署贯穿整个设计
  • 可方便地使用其它的语言进行对接使用

Shay 最终把这个项目称之为 Elasticsearch，并于当年10月发布与 github 上。

Elasticsearch 也是使用 Java 编写并使用 Lucene 来建立索引并实现搜索功能，但是它的目的是通过简单连贯的 RESTful API 让全文搜索变得简单并隐藏 Lucene 的复杂性。

不过，Elasticsearch 不仅仅是 Lucene 和全文搜索引擎，它还提供：

  • 分布式的实时文件存储，每个字段都被索引并可被搜索
  • 实时分析的分布式搜索引擎
  • 可以扩展到上百台服务器，处理 PB 级结构化或非结构化数据

elasticsearch有哪些应用场景

  • 全文检索：与现有数据库进行同步，通过elasticsearch进行查询。
  • 数据分析：Elasticsearch 支持全栈的日志分析，包括各种应用日志、数据库日志、用户行为日志、网络数据、安全数据等等

倒排索引

什么是倒排索引？倒排索引也叫反向索引，我们通常理解的索引是通过key寻找value，与之相反，倒排索引是通过value寻找key，故而被称作反向索引。

下面我们用一个简单的例子描述一下倒排索引的作用过程：

假如现在有三份数据文档，内容分别是：

Doc 1:Java is the best programming language

Doc 2:PHP is the best programming language

Doc 3:Javascript is the best programming language

为了创建索引，ES引擎通过分词器将每个文档的内容拆成单独的词（称之为词条，或term），再将这些词条创建成不含重复词条的排序列表，然后列出每个词条出现在哪个文档，结果如下：

ES系统中的角色包括 es人物_lucene

这种结构由文档中所有不重复的词的列表构成，对于其中每个词都有至少一个文档与与之关联。这种由属性值来确定记录的位置的结构就是倒排索引，带有倒排索引的文件被称为倒排文件。

其中，几个核心术语需要着重理解：

  • 词条（term）：索引里面最小的存储和查询单元，对于英文来说是一个词，对于中文来说一般指分词后的一个词。
  • 词典（Term Dictionary）：也叫字典，是词条的组合。搜索引擎的通常索引单位是单词，单词词典是文档集合中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息以及指向倒排所有的指针。
  • 倒排表（Post list）：一个文档通常由多个词组成，倒排表记录的是某个词在哪些文档里出现过及出现的位置。每个记录称为一个倒排项（Posting），倒排表记录的不单单是文档编号，还记录了词频等信息。
  • 倒排文件（Inverted File）：所有单词的倒排列表往往顺序地存储在磁盘的某个文件里，这个文件被称之为倒排文件，倒排文件是存储倒排索引的物理文件。
  • 词典和倒排表是 Lucene这种很重要的两种数据结构，是实现快速检索的重要基石。词典和倒排文件是分两部分存储的，词典在内存中而倒排文件存储在磁盘。

elasticsearch基本概念

要了解 Elasticsearch ，首先要先了解下面的几个专有名词：索引(Index)、类型(Type)、文档(Document)、映射(mapping)。

既然 Elasticsearch 能够存储和查询数据，那么我们自然要将其和最具知名度的数据库-Mysql进行一番对比，两者之间可以通过下表做一个并不非常严谨的类比，主要是为了方便理解。

ES系统中的角色包括 es人物_elasticsearch_02

  • Index：索引，相当于关系数据库中的database概念，是一类数据的集合，是一个逻辑概念。
  • Type：类型，相当于数据库中的table概念，在6.0版本之前，一个Index中可以有多个type，7.0版本后彻底废弃多type，每个索引只能有一个type，即“ _doc”。这个概念就不用太关注了。
  • Document：文档，存储在ES中的主要实体叫文档，可以理解为关系型数据库中表的一行数据记录。每个文档由多个字段（field）组成。区别于关系型数据库的是，ES是一个非结构化的数据库，每个文档可以有不同的字段，并且有一个唯一标识。
  • Field：字段，存在于文档中，字段是包含数据的键值对，可以理解为Mysql一行数据的其中一列。
  • Mapping：映射，是对索引库中的索引字段及其数据类型进行定义，类似于关系型数据库中的表结构。ES默认动态创建索引和索引类型的Mapping。