es 部署形态 es怎么部署

注：version:elasticsearch-7.11.2

单节点部署

一.新建用户，下载安装包

es不能使用root启动，必须创建新用户

#1).创建用户组
[root@localhost ~]# groupadd elasticsearch

#2).创建用户并设置密码
[root@localhost ~]# useradd daliues
[root@localhost ~]# passwd daliues

#3).把用户daliues 添加到 elasticsearch 用户组
[root@localhost ~]# usermod -G elasticsearch daliues

#4).给新用户设置sudo权限
#为了让普通用户有更大的操作权限，我们一般都会给普通用户设置sudo权限，方便普通用户的操作
[root@localhost ~]# visudo
#在root ALL=(ALL) ALL 一行下面 添加 daliues 用户 
#如下: daliues ALL=(ALL) ALL        

#5).创建es文件夹，下载es安装包，并解压
[root@localhost es]# mkdir /usr/local/es
[root@localhost es]# cd /usr/local/es
[root@localhost es]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.2-linux-x86_64.tar.gz
[root@localhost es]# tar -zxvf elasticsearch-7.11.2-linux-x86_64.tar.gz

#6).把es文件夹归属改为daliues
[root@localhost es]# chown daliues elasticsearch-7.11.2 -R

7).切换用户为daliues
[daliues@localhost es]$ su daliues
#输入密码
密码：

二.修改属性文件

1.修改elasticsearch.yml

#1).新建两个文件夹用来存日志和数据
[daliues@localhost config]$ mkdir -p /usr/local/es/elasticsearch-7.11.2/log
[daliues@localhost config]$ mkdir -p /usr/local/es/elasticsearch-7.11.2/data

#2).删除原elasticsearch.yml重新创建
[daliues@localhost config]$ rm /usr/local/es/elasticsearch-7.11.2/config/elasticsearch.yml
[daliues@localhost config]$ vim /usr/local/es/elasticsearch-7.11.2/config/elasticsearch.yml
# 集群名称
cluster.name: daliu-es

# 节点名称，仅仅是描述名称，用于在日志中区分
node.name: node1
path.data: /usr/local/es/elasticsearch-7.11.2/data
path.logs: /usr/local/es/elasticsearch-7.11.2/log

# 设置其它节点和该节点交互的ip地址
# 这个配置决定是开发模式还是生产模式。一旦设置这个配置即代表生产模式
network.host: 0.0.0.0

# 对外提供服务的端口
http.port: 9200

#集群节点ip
#discovery.seed_hosts: ["192.168.40.128"]

#集群节点名称
cluster.initial_master_nodes: ["node1"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

2.修改jvm.option

修改jvm.option配置文件，调整jvm堆内存大小，根据自己服务器的内存大小来进行设置。

[daliues@localhost config]$ vi /usr/local/es/elasticsearch-7.11.2/config/jvm.options
-Xms1g
-Xmx1g

三.修改系统配置，解决启动时候的问题

由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。所以我们需要给普通用户解开资源的束缚。

1.普通用户打开文件的最大数限制

问题错误信息描述：

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错

修改/etc/security/limits.conf

添加如下内容，注意*不能丢

[daliues@localhost elasticsearch-7.11.2]$ sudo vi /etc/security/limits.conf
* oft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

2.普通用户启动线程数限制

此文件修改后需要重新登录用户，才会生效

问题错误信息描述

max number of threads [1024] for user [es] likely too low, increase to at least [4096]

原因：无法创建本地线程问题,用户最大可创建线程数太小。解决方案：修改90-nproc.conf 配置文件

Centos6
sudo vi /etc/security/limits.d/90-nproc.conf
Centos7
sudo vi /etc/security/limits.d/20-nproc.conf

找到如下内容：

* soft nproc 1024

#修改为

* soft nproc 4096

3.普通用户调大虚拟内存

错误信息描述：

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

调大系统的虚拟内存

原因：最大虚拟内存太小

每次启动机器都手动执行下。

编辑 /etc/sysctl.conf，追加以下内容：vm.max_map_count=262144 保存后，执行：sysctl -p

 

以上3个问题配置好后重新连接xshell启动服务

四.启动es服务

注意切换es专属用户daliues启动

cd /usr/local/es/elasticsearch-7.11.2/bin/
./elasticsearch
#也可以使用后台启动命令：   ./elasticsearch -d

启动成功

访问 http://192.168.40.128:9200/

lucene_version是搜索引擎的核心框架版本

安装ik中文分词器

github地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

下载分词器，注意版本号与es一致

在plugins文件夹下创建文件夹ik

把分词器上传到ik文件夹

 

#解压压缩包
[root@localhost ik]$ unzip /usr/local/es/elasticsearch-7.11.2/plugins/ik/elasticsearch-analysis-ik-7.11.2.zip
#把文件夹的所属权给用户daliues
[root@localhost ~]# chown daliues /usr/local/es/elasticsearch-7.11.2 -R

最后重启es

安装Kibana管理工具

注意kibana版本要与es版本保持一致

下载并解压：

[root@localhost es]# cd /usr/local/es/
[root@localhost es]# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.11.2-linux-x86_64.tar.gz
[root@localhost es]# tar -zxvf kibana-7.11.2-linux-x86_64.tar.gz
[root@localhost es]# /usr/local/es/kibana-7.11.2-linux-x86_64/config/
[root@localhost es]# vi kibana.yml
#在配置文件末尾加上
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.40.128:9200","http://192.168.40.130:9200","http://192.168.40.132:9200"]


#kibana同样不能用root用户启动
#把kibana目录归属权限给用户daliues
[root@localhost es]# chown daliues /usr/local/es/kibana-7.11.2-linux-x86_64/ -R

#切换用户
[root@localhost config]# su daliues
#启动
[daliues@localhost config]$ /usr/local/es/kibana-7.11.2-linux-x86_64/bin/kibana
#也可以使用后台启动命令：nohup /usr/local/es/kibana-7.11.2-linux-x86_64/bin/kibana &

如上图代表启动成功，访问http://192.168.40.128:5601/

平时使用dev tools工作

集群部署

将安装包copy到其他节点服务器，注意清空文件夹：/usr/local/es/elasticsearch-7.11.2/data/，这下面存的是es的索引数据，一定要删除掉，否则会有影响。

跟单节点部署一样，唯一不同的是对elasticsearch.yml文件稍作修改就可以了。我这3个节点的配置参考：

node1

# 集群名称
cluster.name: daliu-es

# 节点名称，仅仅是描述名称，用于在日志中区分
node.name: node1
path.data: /usr/local/es/elasticsearch-7.11.2/data
path.logs: /usr/local/es/elasticsearch-7.11.2/log

# 当前节点的IP地址
network.host: 192.168.40.128

# 对外提供服务的端口
http.port: 9200

#集群节点ip
discovery.seed_hosts: ["192.168.40.128","192.168.40.130","192.168.40.132"]

#集群节点名称
cluster.initial_master_nodes: ["node1","node2","node3"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

node2:

# 集群名称
cluster.name: daliu-es

# 节点名称，仅仅是描述名称，用于在日志中区分
node.name: node2
path.data: /usr/local/es/elasticsearch-7.11.2/data
path.logs: /usr/local/es/elasticsearch-7.11.2/log

# 当前节点的IP地址
network.host: 192.168.40.130

# 对外提供服务的端口
http.port: 9200

#集群节点ip
discovery.seed_hosts: ["192.168.40.128","192.168.40.130","192.168.40.132"]

#集群节点名称
cluster.initial_master_nodes: ["node1","node2","node3"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

node3:

# 集群名称
cluster.name: daliu-es

# 节点名称，仅仅是描述名称，用于在日志中区分
node.name: node3
path.data: /usr/local/es/elasticsearch-7.11.2/data
path.logs: /usr/local/es/elasticsearch-7.11.2/log

# 当前节点的IP地址
network.host: 192.168.40.132

# 对外提供服务的端口
http.port: 9200

#集群节点ip
discovery.seed_hosts: ["192.168.40.128","192.168.40.130","192.168.40.132"]

#集群节点名称
cluster.initial_master_nodes: ["node1","node2","node3"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

三个节点启动后，在kibana查看集群情况

GET   _cat/nodes?v
GET   _cat/health?v

看到我的集群中128是主节点

安装Elasticsearch-head插件

Elasticsearch-head官方GitHub：https://github.com/mobz/elasticsearch-head

elasticsearch-head也是一个可以操作es的工具，包括索引新建、删除、查询、查看文档等等，和kibana的部分功能有点重复，但是有个优点就是查看集群状态更直观。官方githup上提供了许多种安装方式，包括源码编译安装、压缩包安装、docker安装、chrome插件安装。觉得chrome插件最方便，使用chrome或edge浏览器，访问https://github.com/mobz/elasticsearch-head点击这里就可以安装插件。

安装好插件后，随便输入一个节点的连接地址都可以查看集群情况。

developer是我新建的一个索引，它有三个分片（0，1，2），每个分片包括一个主分片和两个副本，粗框的表示主分片。

 

集群健康值有绿、黄、红三个级别，绿色代表健康

也可以在看i把那执行 GET /_cluster/health 查看集群健康度

其他

查看集群状态或索引状态的命令

GET _cat/indices 查看分片、主分片、副本分片

GET _cat/shards 查看分片

GET _cat/nodes?v 查看节点

GET _cat/health?v 查看集群健康

GET _cluster/health 查看集群健康

elasticsearch.yml配置详解

转自：

1.1、cluster.name: elasticsearch
配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
1.2、node.name:"Franz Kafka"
节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。
1.3、node.master: true
指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。
1.4、node.data: true
指定该节点是否存储索引数据，默认为true。
1.5、index.number_of_shards: 5
设置默认索引分片个数，默认为5片。
1.6、index.number_of_replicas: 1
设置默认索引副本个数，默认为1个副本。
1.7、path.conf: /path/to/conf
设置配置文件的存储路径，默认是es根目录下的config文件夹。
1.8、path.data: /path/to/data
设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：path.data: /path/to/data1,/path/to/data2 
1.9、path.work: /path/to/work
设置临时文件的存储路径，默认是es根目录下的work文件夹。
1.10、path.logs: /path/to/logs
设置日志文件的存储路径，默认是es根目录下的logs文件夹
1.11、path.plugins: /path/to/plugins
设置插件的存放路径，默认是es根目录下的plugins文件夹
1.12、bootstrap.mlockall: true
设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和 ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过ulimit -l unlimited命令。
1.13、network.bind_host: 192.168.0.1
设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。
1.14、network.publish_host: 192.168.0.1
设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。
1.15、network.host: 192.168.0.1
这个参数是用来同时设置bind_host和publish_host上面两个参数。
1.16、transport.tcp.port: 9300
设置节点间交互的tcp端口，默认是9300。
1.17、transport.tcp.compress: true
设置是否压缩tcp传输时的数据，默认为false，不压缩。
1.18、http.port: 9200
设置对外服务的http端口，默认为9200。
1.19、http.max_content_length: 100mb
设置内容的最大容量，默认100mb
1.20、http.enabled: false
是否使用http协议对外提供服务，默认为true，开启。
1.21、gateway.type: local
gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，Hadoop的HDFS，和amazon的s3服务器。
1.22、gateway.recover_after_nodes: 1
设置集群中N个节点启动时进行数据恢复，默认为1。
1.23、gateway.recover_after_time: 5m
设置初始化数据恢复进程的超时时间，默认是5分钟。
1.24、gateway.expected_nodes: 2
设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。
1.25、cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化数据恢复时，并发恢复线程的个数，默认为4。
1.26、cluster.routing.allocation.node_concurrent_recoveries: 2
       添加删除节点或负载均衡时并发恢复线程的个数，默认为4。
1.27、indices.recovery.max_size_per_sec: 0
       设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。
1.28、indices.recovery.concurrent_streams: 5
设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。
1.29、discovery.zen.minimum_master_nodes: 1
设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
1.30、discovery.zen.ping.timeout: 3s
设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。
1.31、discovery.zen.ping.multicast.enabled: false
设置是否打开多播发现节点，默认是true。
1.32、discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。
下面是一些查询时的慢日志参数设置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms

 

遇见错误

启动Kibana报错：Error: EACCES: permission denied, stat '*/.i18nrc.json'

log   [00:10:49.418] [info][plugins-service] Plugin "visTypeXy" is disabled.
  log   [00:10:49.536] [warning][config][deprecation] Config key [monitoring.cluster_alerts.email_notifications.email_address] will be required for email notifications to work in 8.0."
  log   [00:10:49.580] [fatal][root] [Error: EACCES: permission denied, stat '*/.i18nrc.json'] {
  errno: -13,
  code: 'EACCES',
  syscall: 'stat',
  path: '*/.i18nrc.json'
}

 FATAL  Error: EACCES: permission denied, stat '*/.i18nrc.json'

通过ll -la命令查看到，.i18nrc.json这个文件，除了创建者外，其他用户只有读（r）权限。

使用root用户执行命令chmod a+w .i18nrc.json，给所有用户添加读写权限。

cd /usr/local/es/kibana-7.11.2-linux-x86_64/bin/

./kibana

启动成功