数据中台数据中台
申请试用
新闻动态
了解袋鼠云最新动态
新闻动态>技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……>
技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……
20181220|文章来源:-

袋鼠云云日志团队

高级产品运维工程师

 钟小强 

(花名:河图)

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

01

节点信息

 

目前集群中的节点信息如下:

 

节点

CPUMEM

DISK

磁盘使用率

节点角色

es01

16C 32G

2*1T

71%

mdi

es02

16C 32G

2*1T

69%

mdi

es03

16C 32G

2*1T

68%

mdi

es04

16C 32G

2*1T

66%

mdi

es05

16C 32G

2*1T

67%

mdi

es06

16C 32G

2*1T

69%

mdi


新增数据节点规格:

节点

CPUMEM

DISK

角色

es11

16C 32G

3*2T

di

es12

16C 32G

3*2T

di

es13

16C 32G

3*2T

di

es14

16C 32G

3*2T

di

es15

16C 32G

3*2T

di

es16

16C 32G

3*2T

di


新增master节点规格:

节点

jvm heap内存配置

角色

es010

2G

mi

es011

2G

mi

es012

2G

mi

 

02

 

扩容思路

 

1、将master从集群中分离出来
2、重启节点时给集群中老节点标记一个tag:old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中,并设置新的tag:new
6、修改索引template,新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。

 

03

 

实践步骤

 

1、分离master节点

查看当前master节点:

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引

ps:主要是需要重启节点,open的索引越少,集群恢复的越快!

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

关闭集群reroute:

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

分别修改集群中node001~node006的配置文件,滚动重启:

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

配置好新的master节点es010、es011、es012

 

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

节点状态:

 

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

查看个节点tag:

 

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

重启node005,将集群master转移到专属节点。

 

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

至此,master节点已经从原有集群中分离,并且集群节点也都已做了标记tag。

 

2、修改索引的配置

 

确保当前集群中的索引只分配到当前标记为old的数据节点,不会分配到新增的数据节点。

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

3、配置新数据节点

 

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

 

4、打开集群分配,并分批将数据迁移

 

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

完成以上四步就可以完成整个数据迁移了

技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

“ElasticSearch运维技术”了解一下

课件PPT+讲师答疑+沙龙直播

学习ElasticSearch

袋鼠云、阿里、滴滴、有赞的实践应用成果;

学习ElasticSearch的

开发思路和性能优化策略!

点击文章链接学习

活动回顾丨让我们ElasticSearch作伴,一起潇洒复习~

此刻起,和袋鼠云一起让数据产生更大价值
此刻起,和袋鼠云一起让数据产生更大价值