草庐IT

Hadoop 集群故障转移

coder 2024-01-07 原文

我有一些关于 Hadoop 集群数据节点故障转移的问题:

1: What happen the link is down between the namenode and a datanode 
   (or between 2 datanodes) when the hadoop cluster is processing some data?
   Does Hadoop cluster have any OOTB to recover this problem?
2: What happen one datanode is down when the hadoop cluster is processing 
   some data?

另外还有一个问题是关于hadoop集群硬件配置的。假设我们将使用我们的 hadoop 集群每天处理 100GB 日志文件，我们需要设置多少个数据节点？以及每个数据节点的硬件配置(例如 CPU、RAM、Hardisk)？

最佳答案

1: 名称节点和数据节点之间的链接断开是怎么回事 (或在 2 个数据节点之间)当 hadoop 集群正在处理某些数据时？ Hadoop集群是否有任何OOTB来恢复这个问题？

NN 不会从该节点接收到任何心跳，因此将其视为已死。在这种情况下，该节点上运行的任务将被调度到具有该数据的其他节点上。

2:hadoop集群处理时一个datanode宕机怎么办 一些数据？

同上。

对于你问题的第二部分:

这完全取决于您的数据和您要执行的处理类型以及其他一些因素。 100G 本来就不适合 MR 处理。但是，如果您仍然需要它，任何像样的机器都足以处理 100G 数据。

作为经验法则，您可以考虑:

  • RAM:每 100 万个 HDFS block 1G RAM + 一些额外的内存用于其他事情。
  • CPU:完全基于您的需求。
  • 磁盘: 数据大小的 3 倍(如果复制因子 =3)+ 一些额外的空间用于存储临时文件、其他应用程序等。JBOD 更可取。

坦率地说，这个过程要复杂得多。我强烈建议你通过 this 链接以获得正确的想法。

我将从一个有 5 台机器的集群开始:

  1. 1 * 硕士(NN+JT) -

    磁盘:JBOD 配置中的 3 * 1TB 硬盘(1 个用于操作系统，2 个用于 FS 镜像)

    CPU:2 个四核 CPU，至少运行 2-2.5GHz

    RAM:32 GB RAM

  2. 3 * 奴隶(DN+TT)-

    磁盘:JBOD(只是一堆磁盘)配置中的 3 * 2 TB 硬盘

    CPU:2 个四核 CPU，至少运行 2-2.5GHz

    内存:16 GB 内存

  3. 1 * SNN -

    我会保持它和主机一样。

关于Hadoop 集群故障转移，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18861120/

Hadoop集群strongsection

有关Hadoop 集群故障转移的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. 【详解】Docker安装Elasticsearch7.16.1集群 - 2

    开门见山|拉取镜像dockerpullelasticsearch:7.16.1|配置存放的目录#存放配置文件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/config#存放数据的文件夹mkdir-p/opt/docker/elasticsearch/node-1/data#存放运行日志的文件夹mkdir-p/opt/docker/elasticsearch/node-1/log#存放IK分词插件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/plugins若你使用了moba，直接右键新建即可如上图所示依次类推创建

  3. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  4. 关于ES集群信息的一些查看 - 2

    文章目录查看ES信息查看节点信息查看分片信息实际场景下ES分片及副本数量应该怎么分关于ES的灵活使用查看ES信息查看版本kibana：GET/查看节点信息GET/_cat/nodes?v解释：ip：集群中节点的ip地址；heap.percent：堆内存的占用百分比；ram.percent：总内存的占用百分比，其实这个不是很准确，因为buff/cache和available也被当作使用内存；cpu：cpu占用百分比；load_1m：1分钟内cpu负载；load_5m：5分钟内cpu负载；load_15m：15分钟内cpu负载；node.role：上图的dilmrt代表全部权限master：*代表

  5. linux查看es节点使用情况,elasticsearch（es） 如何查看当前集群中哪个节点是主节点（master） - 2

    elasticsearch查看当前集群中的master节点是哪个需要使用_cat监控命令，具体如下。查看方法es主节点确定命令，以kibana上查看示例如下：GET_cat/nodesv返回结果示例如下：ipheap.percentram.percentcpuload_1mload_5mload_15mnode.rolemastername172.16.16.188529952.591.701.45mdi-elastic3172.16.16.187329950.990.991.19mdi-elastic2172.16.16.231699940.871.001.03mdi-elastic4172

  6. ruby - 如何检查 RSpec 测试套件中的故障？ - 2

    我正在试验RSpec并考虑一个仅在测试套件通过时才更改随机种子的系统。我试图在after(:suite)block中实现它，该block在RSpec::Core::ExampleGroup对象的上下文中执行。虽然RSpec::Core::Example有一个方法“exception”，允许您检查是否有任何测试失败，但在上似乎没有类似的方法RSpec::Core::ExampleGroup或示例列表的任何访问器。那么，如何检查测试是通过还是失败？我知道这可以使用自定义格式化程序来跟踪是否有任何测试失败，但格式化过程影响测试的实际运行似乎不是一个好主意。 最佳答

  7. kubernetes集群划分节点 - 2

    Kubernetes（K8s）是一个用于管理容器化应用程序的开源平台，可以帮助开发人员更轻松地部署、管理和扩展应用程序。在Kubernetes中，集群划分是一种重要的概念，可以帮助我们更好地组织和管理集群中的节点和资源。本文将介绍如何使用Kubernetes对集群进行划分，并提供详细的操作示例，希望能够帮助读者更好地了解和使用Kubernetes平台。Node划分Node划分是将集群中的节点按照一定的规则进行划分。在Kubernetes中，可以使用NodeSelector和Affinity机制来实现Node划分。NodeSelectorNodeSelector是一种将Pod调度到符合特定节点标

  8. Ubuntu下Hadoop的单机安装 - 2

            云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。· 注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。（不确定其他版本是否会出现版本兼容问题）Hadoop安装步骤如下：        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim

  9. Docker启动故障问题 no such file or directory解决方法 - 2

    1.现象服务重启后，通过dockerstart方式无法启动实例，报出错误：Errorresponsefromdaemon:errorcreatingoverlaymountto/var/lib/docker/overlay2/xxx/merged:nosuchfileordirectorydockersave导出镜像也报出2.网上各种尝试摸索无效果修改daemon.json中的storage-driver为overlay，重启无效果。禁用selinux，临时或永久方式都无效果。修改/etc/docker/daemon.json中的storage-driver为overlay2，无效果。修改/l

  10. ruby-on-rails - FactoryGirl 关联模型故障 : "SystemStackError: stack level too deep" - 2

    我正在使用RubyonRails3.0.9、RSpec-rails2和FactoryGirl。我正在尝试陈述一个工厂协会模型，但我遇到了麻烦。我有一个factories/user.rb文件，如下所示:FactoryGirl.definedofactory:user,:class=>Userdoattribute_1attribute_2...association:account,:factory=>:users_account,:method=>:build,:email=>'foo@bar.com'endend和一个factories/users/account.rb文件，如下所示

随机推荐