目录1.前期准备1.1.hadoop-3.1.3.tar.gz，jdk-8u212-linux-x64.tar.gz，apache-zookeeper-3.5.7-bin.tar.gz三个包提取码：k5y62.解压安装包，配置环境变量3.将三个节点分别命名为master、slave1、slave2并做免密登录免密在前面Hadoop完全分布式搭建说过，这里不再赘述4.搭建zookeeper集群 根据配置的路径新建zkdata，zkdatalog目录。然后到zkdata目录中可以touch新建一个文件myid，也可以直接echo写入为1，另外slave1，salve2分别对应2，3。编辑 5.分
部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNo
一、概述 之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章，主要说了利用QJM进行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170 ）。但是，其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后，ActiveNamenode和StandbyNamenode之间的元数据运行机制,实际上由于2.x的HA策略的引入，其元数据的运行机制和1.x比起来已经有了很大的不同。写这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较，当是自己的笔记吧。二、fsp_w
部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNo
一、概述 之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章，主要说了利用QJM进行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170 ）。但是，其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后，ActiveNamenode和StandbyNamenode之间的元数据运行机制,实际上由于2.x的HA策略的引入，其元数据的运行机制和1.x比起来已经有了很大的不同。写这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较，当是自己的笔记吧。二、fsp_w
