集群安装

集群规划

上传安装包到hadoop01(或者离线下载）

1.cd /bigdata/soft
rz或
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz

解压到指定目录（以自己的实际目录为准）

	tar -zxvf /bigdata/soft/hadoop-3.3.3.tar.gz -C /bigdata/server

创建软连接

	cd /bigdata/server
	ln -s hadoop-3.3.3/ hadoop

Hadoop配置文件修改

Hadoop安装主要是配置文件的修改，一般在主节点进行修改，完毕后scp分发给其他各个从节点机器
路径在/bigdata/server/hadoop/etc/hadoop(以自己的实际路径为准）
1.配置hadoop-env.sh

		vim hadoop-env.sh
		54行的JAVA_HOME设置
		export JAVA_HOME=/bigdata/server/jdk1.8
		在文件末尾添加如下内容
		export HDFS_NAMENODE_USER=root
		export HDFS_DATANODE_USER=root
		export HDFS_SECONDARYNAMENODE_USER=root
		export YARN_RESOURCEMANAGER_USER=root
		export YARN_NODEMANAGER_USER=root

2.配置core-site.xml

		vim core-site.xml
		在configuration标签中添加以下内容：

		<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop01:8020</value>
		</property>

		<property>
		<name>hadoop.tmp.dir</name>
		<value>/bigdata/data/hadoop</value>
		</property>

		<!-- 设置HDFS web UI用户身份-->
		<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
		</property>

		<!-- 整合hive -->
		<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
		</property>

		<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
		</property>

3.配置hdfs-site.xml

   	vim hdfs-site.xml
   	在configuration标签中添加以下内容：
   	<!-- 指定secondarynamenode运行位置  -->
   	<property>
   	<name>dfs.namenode.secondary.http-address</name>
   	<value>hadoop02:50090</value>
   	</property>

4.配置mapred-site.xml

		vim mapred-site.xml 
		在configuration标签中添加以下内容：
		<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		</property>
		<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
		</property>
		<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
		</property>
		<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
		</property>

5.配置yarn-site.xml

在configuration标签中添加以下内容：
		<!-- 指定yarn的主角色 （ResourceManager）的地址 -->
		<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
		</property>
		<!-- NodeManager上运行的附属服务，需配置成mapreduce_shuffle，才可运行MapReduce程序默认值 “” -->
		<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		</property>
		<!-- 是否将对容器实施物理内存限制 -->
		<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
		</property>
		<!-- 是否将对容器实施虚拟内存限制 -->
		<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
		</property>
		<!-- 开启日志聚集 -->
		<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
		</property>
		<!-- 设置yarn历史服务器地址 -->
		<property>
		<name>yarn.log.server.url</name>
		<value>http://hadoop01:19888/jobhistory/logs</value>
		</property>
		<!-- 保存的时间7天 -->
		<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
		</property>

6.workers

		vim workers
		hadoop01
		hadoop02
		hadoop03

7.同步hadoop软件包到hadoop02和hadoop03

		scp -r hadoop-3.3.3/ hadoop01:$PWD
		scp -r hadoop-3.3.3/ hadoop03:$PWD
		在hadoop02节点配置软链接
		ln -s hadoop-3.3.3/ hadoop
		在hadoop03节点配置软链接
		ln -s hadoop-3.3.3/ hadoop

8.[所有节点]配置环境变量

			vim /etc/profile.d/custom_env.sh
			export HADOOP_HOME=/bigdata/server/hadoop
			export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
		
			使之生效：source /etc/profile

Hadoop集群启动

要启动Hadoop集群，需要启动HDFS和YARN两个集群，首次启动需要格式化，在hadoop01上输入：

hadoop namenode -format

在主节点hadoop01启动namenode:

hdfs --daemon start namenode

在hadoop02启动secondarynamenode:

hdfs --daemon start secondarynamenode

在所有节点启动datanode:

hdfs --daemon start datanode

在hadoop01上:

yarn --daemon start resourcemanager

在所有节点启动Nodemanager:

yarn --daemon start nodemanager

查看进程情况

jps
netstat -ntlp

关闭的话把start改成stop即可，上述方式太繁琐，因此启动可以使用下列两个命令：

			start-dfs.sh
			start-yarn.sh
			停止:
			stop-dfs.sh
			stop-yarn.sh

浏览器访问：

				192.168.116.140:9870
			     192.168.116.140:8088