首页 >编程 >正文

【ES三周年】集群半数以上master节点掉线解决方法

es版本

7.9.1

概念介绍

介绍处理方法前介绍几个es的基础概念,方便理解解决方法。

1.es集群有元数据(clusterstate)包含cluster、index、shard级别的元数据,持久化保存在master-eligible节点

2.es集群第一次启动时称为bootstrap,该过程将配置文件中的cluster.initial_master_node作为初始的投票节点(Voting configurations),投票节点具有选举master和commit cluster state的权利,超过半数以上同意即投票成功。

3.使用UUID作为节点和集群的唯一表示,每个节点都会持久化当前集群的UUID

4.投票节点(Voting configurations)会变化,保证集群容错能力最大并且不会脑裂。假如现在投票节点有3个,加入了两个master-eligible节点,那么投票节点就会有5个,如果掉线了一个投票节点还是3个,数量会保持为奇数

情景一

大于等于qorum数量节点掉线,但仍有master-eligible节点存活


由于集群中投票节点永远不可能达到qorum,所以集群无法选主,但所幸cluster state还有一份。

  1. 使用bin/elasticsearch-node unsafe-bootstrap命令让唯一主节点以不安全的方式改写投票节点,就像重新进行bootstrap一样,自己使用持久化的cluster state形成一个新集群
  2. 其他数据节点无法加入新集群因为UUID不同,使用bin/elasticsearch-node detach-cluster命令让节点离开之前的集群
  3. 启动数据节点和新的master-eligible节点,他会加入新集群中。

情景二

所有master-eligible节点掉线


我们已经没有clsuter state了,唯一的希望是数据节点上的index数据

  1. 启动足够的master-eligible节点形成一个新集群
  2. 使用gateway.auto_import_dangling_indices: true配置启动数据节点。或者,启动数据节点并使用Import dangling indexAPI将index数据import到cluster state中。官方推荐后者
  3. 这些index可以正常查询了

注意事项

使用dangling只能恢复index和shard元数据,cluster setting和alias等数据无法恢复,如果集群有重名index也无法成功import,比如.security7是安全相关的内部索引,也无法恢复

Reference&扩展阅读

https://www.elastic.co/guide/en/elasticsearch/reference/7.9/node-tool.html

https://www.elastic.co/guide/en/elasticsearch/reference/7.9/modules-discovery.html

网友评论

验证码 换一张
取 消
暂无评论...
三日内热门评论文章
关键词
为您推荐
  • 相关阅读
  • 业界资讯
  • 手机通讯
  • 电脑办公
  • 新奇数码
  • 软件游戏
  • 科学探索