作者：京东物流秦彪工欲善其事必先利其器，在深入学习大数据相关技术之前，先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境，对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运行环境，文中不拖泥带水过多讲述基础知识，结合Hadoop和Spark最新版本，帮助大家跟着步骤一步步实践环境搭建。1.总体运行环境概览（1）软件包及使用工具版本介绍表：技术名称或工具名称版本备注Hadoophadoop-3.3.4.tar.gzVirtualBox6.0.0r127566虚拟机，推荐CentOScentos7.3JDKjdk-8u212-linux-x6
作者：京东物流秦彪工欲善其事必先利其器，在深入学习大数据相关技术之前，先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境，对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运行环境，文中不拖泥带水过多讲述基础知识，结合Hadoop和Spark最新版本，帮助大家跟着步骤一步步实践环境搭建。1.总体运行环境概览（1）软件包及使用工具版本介绍表：技术名称或工具名称版本备注Hadoophadoop-3.3.4.tar.gzVirtualBox6.0.0r127566虚拟机，推荐CentOScentos7.3JDKjdk-8u212-linux-x6
一、准备硬件环境1、准备硬件环境（1）准备虚5台拟机虚拟机-192.168.1.10规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘虚拟机-192.168.1.11规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘虚拟机-192.168.1.12规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘虚拟机-192.168.1.13规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘（2）环境信息docker私有镜像仓库：192.168.1.10master1：192.168.1.10master2：19
一、准备硬件环境1、准备硬件环境（1）准备虚5台拟机虚拟机-192.168.1.10规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘虚拟机-192.168.1.11规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘虚拟机-192.168.1.12规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘虚拟机-192.168.1.13规格：CentOSLinux7(Core)4核CPU、8G内存、50G磁盘（2）环境信息docker私有镜像仓库：192.168.1.10master1：192.168.1.10master2：19
1、配置环境（1）、配置主机环境1）、每台主机设置hostname为本机ip,如set-hostname192.168.1.10set-hostname192.168.1.11set-hostname192.168.1.12set-hostname192.168.1.13#关闭每台主机SELINUX临时方法setenforce0#关闭每台主机SELINUX永久关闭的方法#/etc/selinux/config配置文件参数必须改为disabled,如：SELlNUX=disabledsed-i's/ASELiNUX=enforcing$/SELiNUX=disabled/'/etc/selinu
1、配置环境（1）、配置主机环境1）、每台主机设置hostname为本机ip,如set-hostname192.168.1.10set-hostname192.168.1.11set-hostname192.168.1.12set-hostname192.168.1.13#关闭每台主机SELINUX临时方法setenforce0#关闭每台主机SELINUX永久关闭的方法#/etc/selinux/config配置文件参数必须改为disabled,如：SELlNUX=disabledsed-i's/ASELiNUX=enforcing$/SELiNUX=disabled/'/etc/selinu
部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNo
部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNo
