Elasticsearch

1、Elasticsearch简介

Java开发，开源企业级搜索引擎
实时搜索
客户端支持java、php、python等主流语言
官网：https://www.elastic.co/
注意：生产中部署ELK三款软件版本要一致
应用场景：日志搜集分析，存储，网站搜索

ES基于底层的Lucene开发的
Lucene框架：
  优点：性能好，功能全，后台框架
  缺点：配置和使用复杂，需要了解底层，不支持集群环境，索引数据不能太多
搜索引擎排名网站：https://db-engines.com/en/ranking

2、对比

关系型数据库	database 数据库	table 表	row 行	column 列
Elasticsearch	index 索引库	type（8被弃用） 类型	document 文档	field 字段

索引库命名必须是小写

映射Mapping可以理解为约束

type类型有很多text、byte、keyword、地图等

document文档为json格式

3、全文索引

全文索引：通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数，用户查询时，通过建立的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户。

4、倒排索引

倒排索引概念：分词+去重+排序

solr查询快，但大数据背景下，就显得不行了，还有更新索引时慢

千万级的数据：

mysql的模糊查询与ES对比

5、分片

数据在索引，索引在分片
分片sharding：数据是存储在不同分片上的
副本replicas: 对分片做备份

6、ES安装

ES安装：只提及安装注意点，不涉及具体步骤。
注意点：不使用root安装，创建专门的用户安装
学习点：jvm调优
最低也得jdk1.8 
es7.6.2

7、Jvm参数配置

jvm参数被配置在/config/jvm.options里
-Xms1g
-Xmx1g
默认会配置1G的JVM堆的初始值和最大值,根据需求调整，这个jvm.options用来配置各种jvm参数，比如GC、GC logging、heap dumps等

8、常见排错

修改系统配置，解决启动问题(重连客户端生效)
  由于使用普通用户安装ES,且ES服务对服务器的资源要求比较高，包括内存大小，线程数，所有要修改服务器资源。
  1、普通用户打开文件的最大数限制
  问题错误描述:
  ES max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
  ES因为需要大量的创建索引文件，需要大量的打开系统文件
  vi  /etc/security/limit.conf
  添加如下内容：
  * soft nofile xxxx
  * hard nofile xxxx
  * soft nofile xxxx
  * hard nofile xxxx
  2、普通用户自动线程数限制
  问题错误描述:
  max number of threads [3795] for user [elastic] is too low, increase to at least [4096]
  centos 6:vi  /etc/security/limit.d/90-nproc.conf
  *          soft    nproc     xxxx
  centos 7:vi  /etc/security/limit.d/20-nproc.conf
  *          soft    nproc     xxxx
  3、普通用户调大虚拟内存
  问题错误描述:
  max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
  vi /etc/sysctl.conf
  添加 一行 vm.max_map_count=xxxxxx
  加载参数
　　sysctl -p
　注意：使用docker或者k8s启动报该错误修改宿主机或者node的该参数，而不是修改容器镜像的该参数。

9、ES启动

ES启动命令(后台)
./bin/elasticsearch -d
访问ES:http://ip:9200
关闭防火墙，或者开放安全组端口

10、编辑elasticsearch.yml

##################### Elasticsearch Configuration Example ##################### 
#
# 只是挑些重要的配置选项进行注释,其实自带的已经有非常细致的英文注释了!
# https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html
#
################################### Cluster ################################### 
# 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的. 
# es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。 
# cluster.name可以确定你的集群名称,当你的elasticsearch集群在同一个网段中elasticsearch会自动的找到具有相同cluster.name的elasticsearch服务. 
# 所以当同一个网段具有多个elasticsearch集群时cluster.name就成为同一个集群的标识. 

# cluster.name: elasticsearch 

#################################### Node ##################################### 
# https://www.elastic.co/guide/en/elasticsearch/reference/5.1/modules-node.html#master-node
# 节点名称同理,可自动生成也可手动配置. 
# node.name: node-1

# 允许一个节点是否可以成为一个master节点,es是默认集群中的第一台机器为master,如果这台机器停止就会重新选举master. 
# node.master: true 

# 允许该节点存储数据(默认开启) 
# node.data: true 

# 配置文件中给出了三种配置高性能集群拓扑结构的模式,如下： 
# 1. 如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器 
# node.master: false 
# node.data: true 
# node.ingest: true  #默认true

# 2. 如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器 
# node.master: true 
# node.data: false
# node.ingest: true

# 3. 如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等 
# node.master: false 
# node.data: false 
# node.ingest: true
#

# 4. 仅作为协调器 
# node.master: false 
# node.data: false
# node.ingest: false

# 监控集群状态有一下插件和API可以使用: 
# Use the Cluster Health API [http://localhost:9200/_cluster/health], the 
# Node Info API [http://localhost:9200/_nodes] or GUI tools # such as <http://www.elasticsearch.org/overview/marvel/>, 


# A node can have generic attributes associated with it, which can later be used 
# for customized shard allocation filtering, or allocation awareness. An attribute 
# is a simple key value pair, similar to node.key: value, here is an example: 
# 每个节点都可以定义一些与之关联的通用属性，用于后期集群进行碎片分配时的过滤
# node.rack: rack314 

# 默认情况下，多个节点可以在同一个安装路径启动，如果你想让你的es只启动一个节点，可以进行如下设置
# node.max_local_storage_nodes: 1 

#################################### Index #################################### 
# 设置索引的分片数,默认为5 
#index.number_of_shards: 5 

# 设置索引的副本数,默认为1: 
#index.number_of_replicas: 1 

# 配置文件中提到的最佳实践是,如果服务器够多,可以将分片提高,尽量将数据平均分布到大集群中去
# 同时,如果增加副本数量可以有效的提高搜索性能 
# 需要注意的是,"number_of_shards" 是索引创建后一次生成的,后续不可更改设置 
# "number_of_replicas" 是可以通过API去实时修改设置的 

#################################### Paths #################################### 
# 配置文件存储位置 
# path.conf: /path/to/conf 

# 数据存储位置(单个目录设置) 
# path.data: /path/to/data 
# 多个数据存储位置,有利于性能提升 
# path.data: /path/to/data1,/path/to/data2 

# 临时文件的路径 
# path.work: /path/to/work 

# 日志文件的路径 
# path.logs: /path/to/logs 

# 插件安装路径 
# path.plugins: /path/to/plugins 

#################################### Plugin ################################### 
# 设置插件作为启动条件,如果一下插件没有安装,则该节点服务不会启动 
# plugin.mandatory: mapper-attachments,lang-groovy 

################################### Memory #################################### 
# 当JVM开始写入交换空间时（swapping）ElasticSearch性能会低下,你应该保证它不会写入交换空间 
# 设置这个属性为true来锁定内存,同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过 `ulimit -l unlimited` 命令 
# bootstrap.mlockall: true 

# 确保 ES_MIN_MEM 和 ES_MAX_MEM 环境变量设置为相同的值,以及机器有足够的内存分配给Elasticsearch 
# 注意:内存也不是越大越好,一般64位机器,最大分配内存别才超过32G 

############################## Network And HTTP ############################### 
# 设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0 
# network.bind_host: 192.168.0.1   #只有本机可以访问http接口

# 设置其它节点和该节点交互的ip地址,如果不设置它会自动设置,值必须是个真实的ip地址 
# network.publish_host: 192.168.0.1 

# 同时设置bind_host和publish_host上面两个参数 
# network.host: 192.168.0.1    #绑定监听IP

# 设置节点间交互的tcp端口,默认是9300 
# transport.tcp.port: 9300 

# 设置是否压缩tcp传输时的数据，默认为false,不压缩
# transport.tcp.compress: true 

# 设置对外服务的http端口,默认为9200 
# http.port: 9200 

# 设置请求内容的最大容量,默认100mb 
# http.max_content_length: 100mb 

# 使用http协议对外提供服务,默认为true,开启 
# http.enabled: false 

###################### 使用head等插件监控集群信息，需要打开以下配置项 ###########
# http.cors.enabled: true
# http.cors.allow-origin: "*"
# http.cors.allow-credentials: true

################################### Gateway ################################### 
# gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统 
# gateway.type: local 

# 下面的配置控制怎样以及何时启动一整个集群重启的初始化恢复过程 
# (当使用shard gateway时,是为了尽可能的重用local data(本地数据)) 

# 一个集群中的N个节点启动后,才允许进行恢复处理 
# gateway.recover_after_nodes: 1 

# 设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起 
# gateway.recover_after_time: 5m 

# 设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合), 
# 立即开始恢复过程(不等待recover_after_time超时) 
# gateway.expected_nodes: 2

 ############################# Recovery Throttling ############################# 
# 下面这些配置允许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配 
# 设置一个节点的并行恢复数 
# 1.初始化数据恢复时,并发恢复线程的个数,默认为4 
# cluster.routing.allocation.node_initial_primaries_recoveries: 4 

# 2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2 
# cluster.routing.allocation.node_concurrent_recoveries: 2 

# 设置恢复时的吞吐量(例如:100mb,默认为0无限制.如果机器还有其他业务在跑的话还是限制一下的好) 
# indices.recovery.max_bytes_per_sec: 20mb 

# 设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5 
# indices.recovery.concurrent_streams: 5 
# 注意: 合理的设置以上参数能有效的提高集群节点的数据恢复以及初始化速度 

################################## Discovery ################################## 
# 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点.默认为1,对于大的集群来说,可以设置大一点的值(2-4) 
# discovery.zen.minimum_master_nodes: 1 
# 探查的超时时间,默认3秒,提高一点以应对网络不好的时候,防止脑裂 
# discovery.zen.ping.timeout: 3s 

# For more information, see 
# <http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html> 

# 设置是否打开多播发现节点.默认是true. 
# 当多播不可用或者集群跨网段的时候集群通信还是用单播吧 
# discovery.zen.ping.multicast.enabled: false 

# 这是一个集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测 
# discovery.zen.ping.unicast.hosts: ["host1", "host2:port"] 

# Slow Log部分与GC log部分略,不过可以通过相关日志优化搜索查询速度 

################  X-Pack ###########################################
# 官方插件 相关设置请查看此处
# https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html
# 
############## Memory(重点需要调优的部分) ################ 
# Cache部分: 
# es有很多种方式来缓存其内部与索引有关的数据.其中包括filter cache 

# filter cache部分: 
# filter cache是用来缓存filters的结果的.默认的cache type是node type.node type的机制是所有的索引内部的分片共享filter cache.node type采用的方式是LRU方式.即:当缓存达到了某个临界值之后，es会将最近没有使用的数据清除出filter cache.使让新的数据进入es. 

# 这个临界值的设置方法如下：indices.cache.filter.size 值类型：eg.:512mb 20%。默认的值是10%。 

# out of memory错误避免过于频繁的查询时集群假死 
# 1.设置es的缓存类型为Soft Reference,它的主要特点是据有较强的引用功能.只有当内存不够的时候,才进行回收这类内存,因此在内存足够的时候,它们通常不被回收.另外,这些引用对象还能保证在Java抛出OutOfMemory异常之前,被设置为null.它可以用于实现一些常用图片的缓存,实现Cache的功能,保证最大限度的使用内存而不引起OutOfMemory.在es的配置文件加上index.cache.field.type: soft即可. 

# 2.设置es最大缓存数据条数和缓存失效时间,通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000,设置index.cache.field.expire: 10m把过期时间设置成10分钟. 
# index.cache.field.max_size: 50000 
# index.cache.field.expire: 10m 
# index.cache.field.type: soft 

# field data部分&&circuit breaker部分： 
# 用于fielddata缓存的内存数量,主要用于当使用排序,faceting操作时,elasticsearch会将一些热点数据加载到内存中来提供给客户端访问,但是这种缓存是比较珍贵的,所以对它进行合理的设置. 

# 可以使用值：eg:50mb 或者 30％(节点 node heap内存量),默认是：unbounded #indices.fielddata.cache.size： unbounded 
# field的超时时间.默认是-1,可以设置的值类型: 5m #indices.fielddata.cache.expire: -1 

# circuit breaker部分: 
# 断路器是elasticsearch为了防止内存溢出的一种操作,每一种circuit breaker都可以指定一个内存界限触发此操作,这种circuit breaker的设定有一个最高级别的设定:indices.breaker.total.limit 默认值是JVM heap的70%.当内存达到这个数量的时候会触发内存回收

# 另外还有两组子设置： 
#indices.breaker.fielddata.limit:当系统发现fielddata的数量达到一定数量时会触发内存回收.默认值是JVM heap的70% 
#indices.breaker.fielddata.overhead:在系统要加载fielddata时会进行预先估计,当系统发现要加载进内存的值超过limit * overhead时会进行进行内存回收.默认是1.03 
#indices.breaker.request.limit:这种断路器是elasticsearch为了防止OOM(内存溢出),在每次请求数据时设定了一个固定的内存数量.默认值是40% 
#indices.breaker.request.overhead:同上,也是elasticsearch在发送请求时设定的一个预估系数,用来防止内存溢出.默认值是1 

# Translog部分: 
# 每一个分片(shard)都有一个transaction log或者是与它有关的预写日志,(write log),在es进行索引(index)或者删除(delete)操作时会将没有提交的数据记录在translog之中,当进行flush 操作的时候会将tranlog中的数据发送给Lucene进行相关的操作.一次flush操作的发生基于如下的几个配置 
#index.translog.flush_threshold_ops:当发生多少次操作时进行一次flush.默认是 unlimited #index.translog.flush_threshold_size:当translog的大小达到此值时会进行一次flush操作.默认是512mb 
#index.translog.flush_threshold_period:在指定的时间间隔内如果没有进行flush操作,会进行一次强制flush操作.默认是30m #index.translog.interval:多少时间间隔内会检查一次translog,来进行一次flush操作.es会随机的在这个值到这个值的2倍大小之间进行一次操作,默认是5s 
#index.gateway.local.sync:多少时间进行一次的写磁盘操作,默认是5s 

# 以上的translog配置都可以通过API进行动态的设置 - See more at: http://bigbo.github.io/pages/2015/04/

11、docker安装ES

后期单独补充，请关注。

12、ES插件安装

docker安装ES:后期单独补充，请关注

ES管理插件：
安装node.js
安装elastissearch-head可视化插件，依赖于node.js（https://github.com/mobz/elasticsearch-head/）
启动：
nmp  install 
nmp  run  start 
配置跨域在ES配置文件里
HanLP分词器
安装IK分词器：比如"北京",会认为是一个词语，如果是es，底层会分成‘北’‘京’
英文按空格来分，中文根据字典、机器学习等
下载地址：https://github.com/medcl/elasticsearch-analysis-ik/release
在ES安装目录下/plugins创建IK
mkdir  ik
解压
重启ES
elasticsearch-plugin list   #查看安装是否成功

13、测试IK分词器

如果想配置自己特定的IK分词器内容可以在ES的插件pulgins目录下的IK目录下config
IKAnalyzer.cfg.xml里面配置自己的扩展字典long.dic
vi long.dic  #编辑字典，会把编辑的内容真正变成一个词

测试分词器
登录Kibana界面左侧进入DEV Tools  console
POST _analyze
{
  "analyzer":"ik_smart",    #细粒度拆分
  "text":"测试ik
  
  
  POST _analyze
{
  "analyzer":"standard",   #默认
  "text":"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone"
}



POST _analyze
{
  "analyzer":"ik_max_word",   #会将文本做最细粒度拆分，用的较多，很重要
  "text":"测试ik分词器"
}



创建索引同时指定analyzer分词器：
PUT /test
{
  "settings": {
     "number_of_shards" :  12, 
     "number_of_replicas" : 1,
     "analysis":{   
      "analyzer":{
        "ik":{
          "tokenizer":"ik_max_word"
        }
      }
    }
  }

​

14、ES数据管理

ES的数据管理
        ES使用JSON格式
 Restfull风格的语法
    PUT
    POST  
    DELETE
    GET   
 name下的type类型为keyword会当成整理搜索，此时分词无用，如果是text就是文本可以使用分词器
 
 
基本操作
    创建索引：PUT  /索引名称
    查询索引：GET  /索引名称
    删除索引：DELETE  /索引名称
    添加文档：PUT  /索引名称/类型/id
    POST /my_doc/_doc/1   -> {索引名}/_doc/{索引ID}，“_doc”这种写法是es7的写法，不同的版本有不同的写法，具体就看官网语法。
    {
    "id": 1001,
    "name": "imooc-1",
    "desc": "imooc is very 非常牛！",
    "create_date": "2019-12-24"
    }
    修改文档：PUT  /索引名称/类型/id    #如果ID值存在就更新，否则就插入。
    查询文档：GET  /索引名称/类型/id
    删除文档：DELETE  /索引名称/类型/id
    查询当前类型中所有文档:GET  /索引名称/类型/_search    #类似于select * from  表;
    条件查询：GET  /索引名称/类型/_search?q=*:*  #年龄28: _search?q=age:28
    范围查询：GET  /索引名称/类型/_search?q=***[* TO *]  #TO必须大写，年龄25到26：_search?q=age[25 TO 26]
    根据多个ID进行批量查询：GET  /索引名称/类型/_mget
    {
        "ids":["1","2"]
    }
    查询年龄小于等于28岁：GET  /索引名称/类型/_search?q=age:<=**
    查询年龄大于28岁：GET  /索引名称/类型/_search?q=age:>**
    分页查询：GET  /索引名称/类型/_search?q=age[25 TO 26]&from=0&size=1   # from=0 从0页开始，size=1 这页有1条数据
    输出某些字段：GET  /索引名称/类型/_search_source=字段,字段
    对查询结果排序：GET  /索引名称/类型/_search?sort=字段,desc/asc

15、ES的DSL查询

DSL查询
    用来ES复杂查询
  1、记录查询query
    无条件
    有条件
        叶子查询（单条件）
            模糊匹配：match：模糊匹配  prefix：前缀匹配   regexp：正则匹配
            精确匹配：term   terms   range    exists   ids
        组合查询（多条件）
        连接查询
  query DSL:会有分数匹配度         filter DSL：   
  2、结果聚合aggs
  
  
  静态映射
  动态映射

GET long/_doc/_search     #
{
    "query":{                    #query DSL方式      filter DSL
        "match":{                #匹配模式
            "name":"金龙"        #具体文档和字段
        }
    }，
    "_source":{"name","desc"}   #_source类似sql语句里的查询具体字段
}

16、ES集群搭建

es集群搭建
  在配置文件里配置
后期在docker里补充

17、ES客户端

ELK安装：ES的客户端
  客户端分为：图形客户端、代码客户端
 #启动
./bin/kibana
后台启动：nohup  ./bin/kibana  &
#通过浏览器进行访问
http://192.168.40.133:5601/app/kibana
汉化图形界面：在kibana配置文件里加
i18n.locale:"zh-CN"

18、ES客户端配置文件

vi  kibana.yml
#####----------kibana服务相关----------#####

#提供服务的端口，监听端口
server.port: 5601


#主机地址，可以是ip,主机名
server.host: 0.0.0.0

#在代理后面运行，则可以指定安装Kibana的路径
#使用server.rewriteBasePath设置告诉Kibana是否应删除basePath
#接收到的请求，并在启动时防止过时警告
#此设置不能以斜杠结尾
server.basePath: ""

#指定Kibana是否应重写以server.basePath为前缀的请求，或者要求它们由反向代理重写，默认false
server.rewriteBasePath: false

#传入服务器请求的最大有效负载大小,以字节为单位，默认1048576
server.maxPayloadBytes: 1048576

#该kibana服务的名称，默认your-hostname
server.name: "your-hostname"

#服务的pid文件路径，默认/var/run/kibana.pid
pid.file: /var/run/kibana.pid


#####----------elasticsearch相关----------#####

#kibana访问es服务器的URL,就可以有多个，以逗号","隔开
elasticsearch.hosts: ["http://localhost:9200"]

#当此值为true时，Kibana使用server.host设定的主机名
#当此值为false时，Kibana使用连接Kibana实例的主机的主机名
#默认ture
elasticsearch.preserveHost: true

#Kibana使用Elasticsearch中的索引来存储已保存的搜索，可视化和仪表板
#如果索引尚不存在，Kibana会创建一个新索引
#默认.kibana
kibana.index: ".kibana"

#加载的默认应用程序
#默认home
kibana.defaultAppId: "home"


#kibana访问Elasticsearch的账号与password(如果ElasticSearch设置了的话)
elasticsearch.username: "kibana_system"
elasticsearch.password: "pass"

#从Kibana服务器到浏览器的传出请求是否启用SSL
#设置为true时，需要server.ssl.certificate和server.ssl.key
server.ssl.enabled: true
server.ssl.certificate: /path/to/your/server.crt
server.ssl.key: /path/to/your/server.key


#从Kibana到Elasticsearch启用SSL后，ssl.certificate和ssl.key的位置
elasticsearch.ssl.certificate: /path/to/your/client.crt
elasticsearch.ssl.key: /path/to/your/client.key

#PEM文件的路径列表
elasticsearch.ssl.certificateAuthorities: [ "/path/to/your/CA.pem" ]


#控制Elasticsearch提供的证书验证
#有效值为none，certificate和full
elasticsearch.ssl.verificationMode: full

#Elasticsearch服务器响应ping的时间，单位ms
elasticsearch.pingTimeout: 1500

#Elasticsearch 的响应的时间，单位ms
elasticsearch.requestTimeout: 30000


#Kibana客户端发送到Elasticsearch的标头列表
#如不发送客户端标头，请将此值设置为空
elasticsearch.requestHeadersWhitelist: []


#Kibana客户端发往Elasticsearch的标题名称和值
elasticsearch.customHeaders: {}

#Elasticsearch等待分片响应的时间
elasticsearch.shardTimeout: 30000

#Kibana刚启动时等待Elasticsearch的时间，单位ms，然后重试
elasticsearch.startupTimeout: 5000

#记录发送到Elasticsearch的查询
elasticsearch.logQueries: false



#####----------日志相关----------#####

#kibana日志文件存储路径，默认stdout
logging.dest: stdout

#此值为true时，禁止所有日志记录输出
#默认false
logging.silent: false

#此值为true时，禁止除错误消息之外的所有日志记录输出
#默认false
logging.quiet: false

#此值为true时，记录所有事件，包括系统使用信息和所有请求
#默认false
logging.verbose: false

#####----------其他----------#####

#系统和进程取样间隔，单位ms，最小值100ms
#默认5000ms
ops.interval: 5000

#kibana web语言
#默认en
i18n.locale: "en"

19、Spring  Boot操作ES

单独补充