草庐IT

ES节点类型、选举过程及容灾机制

!春明! 2024-04-13 原文

目录

一、节点类型 

1、主节点（Master）

 2、候选节点（Master-eligible node）

3、数据节点（Data node）

4、协调节点（coordinating）

5、仅投票节点（voting）

6、默认

二、master选举 

1、脑裂

1、产生原因

 2、预防方法

3、后续解决

二、容灾机制

三、如何提高ES分布式系统的可用性以及实现性能最大化

四、参考文档

一、节点类型 

        ES拥有非常完善的容灾机制，在了解容灾之前，我们要先知道ES中各个节点的类型。节点类型的设置可以在配置文件elasticsearch.yml中添加如下属性，只是写了常用的，还有很多类型可以设置，如：冷、暖、热、冻结、摄取节点等。

# 是否为候选节点
node.master: true
# 是否为数据节点
node.data: true
# 是否为投票节点
Node.voting_only = false

        按照参数的组装，可以将节点分为如下类型：

1、主节点（Master）

        master节点在每个集群中有且只有一个。Master节点应该只承担较为轻量级的任务，比如：创建删除索引，分片均衡等。

# 设置为true
node.master: true
# 尽量设置主节点不为数据节点，提示效率
node.data: false

 2、候选节点（Master-eligible node）

        和主节点的配置相同，在选举时可以被选举为主节点。

3、数据节点（Data node）

        这样的节点主要负责数据存储和一些查询服务。

# 是否为候选节点
node.master: false
# 是否为数据节点
node.data: true

4、协调节点（coordinating）

        每一个节点都隐式的是一个协调节点，协调节点既不当候选节点，也不作为数据节点，仅负责负载均衡，进行投票。

# 是否为候选节点
node.master: false
# 是否为数据节点
node.data: false

5、仅投票节点（voting）

        设置为仅投票节点后即使配置了data.master = true，也不会参选, 但是仍然可以作为数据节点。

# 是否为投票节点
Node.voting_only = true

6、默认

        ES节点默认配置既作为候选节点又作为数据节点，这样的节点一旦被选举为Master，压力是比较大的，通常来说Master节点应该只承担较为轻量级的任务，比如创建删除索引，分片均衡等。

二、master选举 

1、脑裂

        在master重新选举的过程中，可能会发生脑裂的情况，原master节点并没有挂掉，只是有些节点无法与之取得联系了，此时集群可能存在多个master节点。脑裂对我们的影响主要是导致没有有效的团体存在，所有的团体都不包含多数的表决。

1、产生原因

        产生脑裂的原因主要分为俩种：

1、网络波动：集群间的网络延迟导致一些节点访问不到master，认为master挂掉了从而选举出新的master，并对master上的分片和副本标红，分配新的主分片。

2、主节点即是数据节点也是候选节点：访问量较大导致ES响应过慢，使其他节点以为主节点挂掉。或者数据节点上的ES占用进程过大，引发JVM的大规模内存回收，造成ES进程失去响应。

 2、预防方法

1、设置候选节点时将数据节点的设置改为false，上面讲解节点分类有距离。

2、将节点状态判断时间加长，默认为3s内没有响应，节点挂掉，适当调大：discovery.zen.ping_timeout:10。

3、增加选举出发的难度，将控制选举行为发生的最小集群主节点数量设大。当备选主节点的个数大于等于该参数，且备选主节点中有该参数个节点认为主节点挂了，进行选举。官方建议为（n/2）+1，n为主节点个数（即有资格成为主节点的节点个数）

： discovery.zen.minimum_master_nodes:3

3、后续解决

        上述方案其实是预防脑裂的出现，如果脑裂已经发生了，如何解决呢？我想到的方法就是重启集群，有大神可以留言帮助一下。

二、容灾机制

        ES集群因为分片和副本的存在使ES集群的可用性非常高。ES集群不可用的原因主要是因为主节点的宕机，所以ES的容灾机制依靠的就是master选举、、分片以及副本。

三、如何提高ES分布式系统的可用性以及实现性能最大化

        .....

四、参考文档

        1、马士兵课程

节点类型xffxff0cxff0elasticsearch

有关ES节点类型、选举过程及容灾机制的更多相关文章

  1. ruby - Infinity 和 NaN 的类型是什么？ - 2

    我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串

  2. ruby - 检查方法参数的类型 - 2

    我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样？我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗？ 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时，它将引发ArgumentError。defmy_method(number)

  3. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  4. ruby - 查找字符串中的内容类型(数字、日期、时间、字符串等) - 2

    我正在尝试解析一个CSV文件并使用SQL命令自动为其创建一个表。CSV中的第一行给出了列标题。但我需要推断每个列的类型。Ruby中是否有任何函数可以找到每个字段中内容的类型。例如，CSV行:"12012","Test","1233.22","12:21:22","10/10/2009"应该产生像这样的类型['integer','string','float','time','date']谢谢! 最佳答案 require'time'defto_something(str)if(num=Integer(str)rescueFloat(s

  5. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  6. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  7. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  8. ruby-on-rails - Rails 迁移中的 PostgreSQL 点类型 - 2

    我想使用PostgreSQL中的point类型。我已经完成了:railsgmodelTestpoint:point最终的迁移是:classCreateTests当我运行时:rakedb:migrate结果是:==CreateTests:migrating====================================================--create_table(:tests)rakeaborted!Anerrorhasoccurred,thisandalllatermigrationscanceled:undefinedmethod`point'for#/hom

  9. ruby-on-rails - 我可以用鸭子类型(duck typing)改进这种方法吗？ - 2

    希望我没有误解“ducktyping”的含义，但从我读到的内容来看，这意味着我应该根据对象如何响应方法而不是它是什么类型/类来编写代码。代码如下:defconvert_hash(hash)ifhash.keys.all?{|k|k.is_a?(Integer)}returnhashelsifhash.keys.all?{|k|k.is_a?(Property)}new_hash={}hash.each_pair{|k,v|new_hash[k.id]=v}returnnew_hashelseraise"CustomattributekeysshouldbeID'sorPropertyo

  10. ruby-on-rails - 如何在 ActionController::TestCase 请求中设置内容类型 - 2

    我试图像这样在我的测试用例中执行获取:request.env['CONTENT_TYPE']='application/json'get:index,:application_name=>"Heka"虽然，它失败了:ActionView::MissingTemplate:Missingtemplatealarm_events/indexwith{:handlers=>[:builder,:haml,:erb,:rjs,:rhtml,:rxml],:locale=>[:en,:en],:formats=>[:html]尽管在我的Controller中我有:respond_to:html,

随机推荐