前言

ES使用了倒排索引（inverted index）,该结构对于全文检索非常快。倒排索引包括一个在任意文档中出现的唯一性的词语列表，对于每个词语，都有一个它出现过的文档列表。

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。

 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口

RESTful介绍（Representational State Transfer）

一种软件架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。

REST的操作分为以下几种

        GET：获取对象的当前状态；

        PUT：改变对象的状态；

        POST：创建对象；

        DELETE：删除对象；

     HEAD：获取头信息

资源

GET

PUT

PUST

DELETE

一组资源的URI，如：

http://example.com/resources/

列出URI，以及该资源组中每个资源的详细信息（后者可选）

使用指定的一组资源替换当前整组资源

在本组资源中创建/追加一个新的资源。该操作往往返回新资源的url地址

删除整组资源

单个资源的URI，比如：

http://example.com/resources/142

获取指定资源的详细信息，格式可以自选一个合适的网络媒体类型（如xml或者json）

替换/创建指定的资源，并将其追加到相应的资源组中。

把指定的资源当成一个资源组，并在其下创建/追加一个新的元素，使其隶属于当前资源

删除指定的元素

 

ES内置RESTful接口

URL

说明

/index/_search

搜索指定索引下的数据

/_aliases

获取或操作索引的别名

/index/

查看指定索引的详细信息

/index/type/

创建或操作类型

/index/_mapping

创建或操作mapping

/index/_settings

创建或操作设置（number_of_shards不可更改）

/index/_open

打开指定被关闭的索引

/index/_close

关闭指定索引

/index/_refresh

刷新索引，使新加内容对搜索可见，不保证数据被写入磁盘

/index/_flush

刷新索引，会触发Lucene提交

 二、核心概念

1、cluster

l代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

主节点的职责是负责管理集群状态，包括管理分片的状态和副本的状态，以及节点的发现和删除

只需要在同一个网段之内启动多个es节点，就可以自动组成一个集群。默认情况下es会自动发现同一网段内的节点，自动组成集群。

 集群状态查看： 链接

2、shards

代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

可以在创建索引库的时候指定

curl -XPUT 'localhost:9200/test1/' -d'{"settings":{"number_of_shards":3}}'

index.number_of_s默认是一个索引库有5个分片

hards: 5

 

3、replicas

代表索引副本，es可以给索引设置副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

可以在创建索引库的时候指定

    curl -XPUT 'localhost:9200/test2/' -d'{"settings":{"number_of_replicas":2}}'

默认是一个分片有2个副本

index.number_of_replicas: 1

 

4、recovery

代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

5、gateway

代表es索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个es集群关闭再重新启动时就会从gateway中读取索引数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。

如果需要将数据落地到hadoop的hdfs需要先安装插件elasticsearch/elasticsearch-hadoop，然后再elasticsearch.yml配置

gateway:
    type: hdfs
gateway:
    hdfs:
        uri: hdfs://localhost:9000

6、 discovery.zen

代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

如果是不同网段的节点如何组成es集群？

禁用自动发现机制

discovery.zen.ping.multicast.enabled: false

设置新节点被启动时能够发现的主节点列表

discovery.zen.ping.unicast.hosts: [“192.168.27.4", " 192.168.17.5"]

7、Transport

代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。

 

 

8、settings： 修改索引库默认配置

例如：分片数量，副本数量

查看：curl -XGET http://localhost:9200/bjsxt/_settings?pretty

curl -XPUT 'localhost:9200/bjsxt/' -d'{"settings":{"number_of_shards":3,"number_of_replicas":2}}'

9、 Mapping

就是对索引库中索引的字段名称及其数据类型进行定义，类似于关系数据库中表建立时要定义字段名及其数据类型那样，(和solr中的schme类似)不过es的mapping比数据库灵活很多，它可以动态添加字段。一般不需要要指定mapping都可以，因为es会自动根据数据格式定义它的类型，如果你需要对某些字段添加特殊属性（如：定义使用其它分词器、是否分词、是否存储等），就必须手动添加mapping

查询索引库的mapping信息

    curl -XGET http://localhost:9200/bjsxt/emp/_mapping?pretty

mappings修改字段相关属性

    例如：字段类型，使用哪种分词工具

 

 三、ElasticSearch脑裂

         

 四、ES分类

es的搜索类型有4种

query and fetch(速度最快)(返回N倍数据量)

query then fetch（默认的搜索方式）

DFS query and fetch(可以更精确控制搜索打分和排名。)

DFS query then fetch

总结一下，从性能考虑QUERY_AND_FETCH是最快的，DFS_QUERY_THEN_FETCH是最慢的。从搜索的准确度来说，DFS要比非DFS的准确度更高。