spark插入es集群内存溢出 es集群扩容data节点

记一次ES节点扩容、数据迁移实践

背景

之前ES集群里的数据越来越大，日增500G日志数据，需要做一波扩容。

节点信息

目前集群中的节点信息如下：

节点	CPU、MEM	DISK	磁盘使用率	节点角色
es01	16C 32G	2*1T	71%	mdi
es02	16C 32G	2*1T	69%	mdi
es03	16C 32G	2*1T	68%	mdi
es04	16C 32G	2*1T	66%	mdi
es05	16C 32G	2*1T	67%	mdi
es06	16C 32G	2*1T	69%	mdi

新增数据节点规格：

节点	CPU、MEM	DISK	角色
es11	16C 32G	3*2T	di
es12	16C 32G	3*2T	di
es13	16C 32G	3*2T	di
es14	16C 32G	3*2T	di
es15	16C 32G	3*2T	di
es16	16C 32G	3*2T	di

新增master节点规格：

节点	jvm heap内存配置	角色
es010	2G	mi
es011	2G	mi
es012	2G	mi

扩容思路

大致的扩容迁移思路如下：
1、将master从集群中分离出来
2、重启节点时给集群中老节点标记一个tag：old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中，并设置新的tag：new
6、修改索引template，新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。

实践步骤

1、分离master节点

查看当前master节点：

查看集群中的所有索引，暂时关闭一批历史不需要搜索使用的索引
   ps:主要是需要重启节点，open的索引越少，集群恢复的越快

curl -s localhost:9200/_cat/indices


curl -XPOST localhost:9200/xxx_indices/_close
  ps:xxx_indices为需要关闭的索引名称


过滤基于时间的索引：
curl -s localhost:9200/_cat/indices?h=i | grep 2018.11.11 > /tmp/111
确认下索引：
cat /tmp/111
批量关闭索引：
for i in `cat /tmp/111`;do curl -XPOST localhost:9200/$i/_close;done

关闭集群reroute：

curl -H "Content-Type: application/json" -XPUT http://localhost:9200/_cluster/settings -d '
{"transient":{"cluster.routing.allocation.enable":"none"}}'

分别修改集群中node001~node006的配置文件，滚动重启：

1、修改配置文件：
1)加入tag:
node.attr.tag: old
2)增加data节点，去除master配置：
node.master: false
node.data: true
3)修改discovery.zen.ping.unicast.hosts
增加master ip到该配置中。

2、依次重启node001~node004，每次重启等集群恢复到green状态。
curl localhost:9200/_cat/health?v
   ps：此处先不要重启当前集群的master节点，并且留一个给master节点互备。

此时的集群状态如下：
    node001~node004已经增加了新的master节点信息，且已经重启
    node005、node006还未增加，且未重启
    当前集群的master是node006
3、修改node005的配置，此时暂时先不要将该节点的master、data角色分离（只修改1和3步骤的配置）；
   修改后重启，等待集群恢复green；
    此时该集群只有的master只可能在node005和node006，当前是在node006
4、修改node006的配置，然后重启；
    重启后master将转移到node005

配置好新的master节点es010、es011、es012

1、修改配置文件
1)增加master、去除data配置：
node.master: true
node.data: false

2)修改discovery.zen.ping.unicast.hosts
在该配置中需要将所有节点IP都加进去，包括即将新增的ES节点的IP。

2、启动这3个节点，等待加入集群。
可以tailf查看node005上的es日志。

通过以下api也能看到节点加入。
curl localhost:9200/_cat/nodes

节点状态：

查看个节点tag：

重启node005，将集群master转移到专属节点。

1、修改配置文件
1)增加data节点，去除master配置：
node.master: false
node.data: true

2、重启node005，并等待集群恢复green。
curl localhost:9200/_cat/health?v

至此，master节点已经从原有集群中分离，并且集群节点也都已做了标记tag。

2、修改索引的配置

确保当前集群中的索引只分配到当前标记为old的数据节点，不会分配到新增的数据节点。

curl -H "Content-Type: application/json" -XPUT http://localhost:9200/_settings -d '
{"index.routing.allocation.require.tag":"old"}'

3、配置新数据节点

1、修改配置好配置：
1)加入tag:
node.attr.tag: new
2)增加data节点，去除master配置：
node.master: false
node.data: true
3)修改discovery.zen.ping.unicast.hosts
在该配置中仅需写master ip。

2、启动节点，等待加入。
curl localhost:9200/_cat/nodes?v

4、打开集群分配，并分批将数据迁移

#打开集群分配
curl -H "Content-Type: application/json" -XPUT http://localhost:9200/_cluster/settings -d '
{"transient":{"cluster.routing.allocation.enable":"all"}}'


#如果仅需迁移可以将require.tag改成new
curl -H "Content-Type: application/json" -XPUT http://localhost:9200/xxx_indices/_settings -d '
{"index.routing.allocation.require.tag":"new"}'
  ps：可以写个for循环简单过滤出索引，然后在低峰期批量迁移。

#去除require，索引可以在集群所有节点间自由分配:
curl -H "Content-Type: application/json" -XPUT http://localhost:9200/xxx_indices/_settings -d '
{"index.routing.allocation.require.tag":""}'