草庐IT

Hadoop Kerberos 集成

hyunbar777 2023-03-28 原文

官网参考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html

2、创建Hadoop系统用户

为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和用户组。

User:Group

Daemons

hdfs:hadoop

NameNode, Secondary NameNode, JournalNode, DataNode

yarn:hadoop

ResourceManager, NodeManager

mapred:hadoop

MapReduce JobHistory Server


创建hadoop组

[root@hadoop01 ~]# groupadd hadoop
[root@hadoop02 ~]# groupadd hadoop
[root@hadoop03 ~]# groupadd hadoop
创建各用户并设置

[root@hadoop01 ~]# useradd hdfs -g hadoop
[root@hadoop01 ~]# echo hdfs | passwd --stdin hdfs
[root@hadoop01 ~]# useradd yarn -g hadoop
[root@hadoop01 ~]# echo yarn | passwd --stdin yarn
[root@hadoop01 ~]# useradd mapred -g hadoop
[root@hadoop01 ~]# echo mapred | passwd --stdin mapred
[root@hadoop02 ~]# useradd hdfs -g hadoop
[root@hadoop02 ~]# echo hdfs | passwd --stdin hdfs
[root@hadoop02 ~]# useradd yarn -g hadoop
[root@hadoop02 ~]# echo yarn | passwd --stdin yarn
[root@hadoop02 ~]# useradd mapred -g hadoop
[root@hadoop02 ~]# echo mapred | passwd --stdin mapred
[root@hadoop03 ~]# useradd hdfs -g hadoop
[root@hadoop03 ~]# echo hdfs | passwd --stdin hdfs
[root@hadoop03 ~]# useradd yarn -g hadoop
[root@hadoop03 ~]# echo yarn | passwd --stdin yarn
[root@hadoop03 ~]# useradd mapred -g hadoop
[root@hadoop03 ~]# echo mapred | passwd --stdin mapred

3、Hadoop Kerberos配置

3.1 为Hadoop各服务创建Kerberos主体（Principal）

主体格式如下：​​ServiceName/HostName@REALM​​如：​​dn/hadoop01@EXAMPLE.COM​​

  • 各服务所需主体如下
环境：3台节点，主机名分别为hadoop01，hadoop02，hadoop03

服务

所在主机

主体（Principal）

NameNode

hadoop01

nn/hadoop01

DataNode

hadoop01

dn/hadoop01

DataNode

hadoop02

dn/hadoop02

DataNode

hadoop03

dn/hadoop03

Secondary NameNode

hadoop03

sn/hadoop03

ResourceManager

hadoop02

rm/hadoop02

NodeManager

hadoop01

nm/hadoop01

NodeManager

hadoop02

nm/hadoop02

NodeManager

hadoop03

nm/hadoop03

JobHistory Server

hadoop01

jhs/hadoop01

Web UI

hadoop01

HTTP/hadoop01

Web UI

hadoop02

HTTP/hadoop02

Web UI

hadoop03

HTTP/hadoop03

  • 创建主体说明
1）路径准备

为服务创建的主体，需要通过密钥文件keytab文件进行认证，故需为各服务准备一个安全的路径用来存储keytab文件。

[root@hadoop01 ~]# mkdir /etc/security/keytab/
[root@hadoop01 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop01 ~]# chmod 770 /etc/security/keytab/
2）管理员主体认证

为执行创建主体的语句，需登录Kerberos 数据库客户端，登录之前需先使用Kerberos的管理员用户进行认证，执行以下命令并根据提示输入。

[root@hadoop01 ~]# kinit admin/admin
3）登录数据库客户端

[root@hadoop01 ~]# kadmin
4）执行创建主体的语句

kadmin: addprinc -randkey test/test
kadmin: xst -k /etc/security/keytab/test.keytab test/test
说明：

（1）addprinc test/test：作用是新建主体

  • addprinc：增加主体
  • -randkey：随机，因hadoop各服务均通过keytab文件认证，故可随机生成
  • test/test：新增的主体
（2）xst -k /etc/security/keytab/test.keytab test/test：作用是将主体的密钥写入keytab文件

  • xst：将主体的密钥写入keytab文件
  • -k /etc/security/keytab/test.keytab：指明keytab文件路径和文件名
  • test/test：主体
（3）为方便创建主体，可使用如下命令

[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey test/test"
[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/test.keytab test/test"
说明：

-p：主体

-w：pw

-q：执行语句

（4）操作主体的其他命令，可参考官方文档，地址如下：

​​http://web.mit.edu/kerberos/krb5-current/doc/admin/admin_commands/kadmin_local.html#commands​​

  • 创建主体
1）在所有节点创建keytab文件目录

[root@hadoop01 ~]# mkdir /etc/security/keytab/
[root@hadoop01 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop01 ~]# chmod 770 /etc/security/keytab/
[root@hadoop02 ~]# mkdir /etc/security/keytab/
[root@hadoop02 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop02 ~]# chmod 770 /etc/security/keytab/
[root@hadoop03 ~]# mkdir /etc/security/keytab/
[root@hadoop03 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop03 ~]# chmod 770 /etc/security/keytab/
2）以下命令在hadoop01节点执行

NameNode（hadoop01）

[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nn/hadoop01"
[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nn.service.keytab nn/hadoop01"
DataNode（hadoop01）

[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop01"
[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop01"
NodeManager（hadoop01）

[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop01"
[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop01"
JobHistory Server（hadoop01）

[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey jhs/hadoop01"
[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/jhs.service.keytab jhs/hadoop01"
Web UI（hadoop01）

[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop01"
[root@hadoop01 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop01"
3）以下命令在hadoop02执行

ResourceManager（hadoop02）

[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey rm/hadoop02"
[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rm.service.keytab rm/hadoop02"
DataNode（hadoop02）

[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop02"
[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop02"
NodeManager（hadoop02）

[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop02"
[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop02"
Web UI（hadoop02）

[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop02"
[root@hadoop02 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop02"
4）以下命令在hadoop03执行

DataNode（hadoop03）

[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop03"
[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop03"
Secondary NameNode（hadoop03）

[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey sn/hadoop03"
[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/sn.service.keytab sn/hadoop03"
NodeManager（hadoop03）

[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop03"
[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop03"
Web UI（hadoop03）

[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop03"
[root@hadoop03 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop03"
  • 修改所有节点keytab文件的所有者和访问权限
[root@hadoop01 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop01 ~]# chmod 660 /etc/security/keytab/*
[root@hadoop02 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop02 ~]# chmod 660 /etc/security/keytab/*
[root@hadoop03 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop03 ~]# chmod 660 /etc/security/keytab/*

3.2 修改Hadoop配置文件

  • 官网案例
Hadoop SecureModel

需要修改的内容如下，修改完毕需要分发所改文件。

  • core-site.xml
[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/core-site.xml
增加以下内容

[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/core-site.xml
增加以下内容
<!-- Kerberos主体到系统用户的映射机制 -->
<property>
<name>hadoop.security.auth_to_local.mechanism</name>
<value>MIT</value>
</property>
<!-- Kerberos主体到系统用户的具体映射规则 -->
<property>
<name>hadoop.security.auth_to_local</name>
<value>
RULE:[2:$1/$2@$0]([ndj]n\/.*@EXAMPLE\.COM)s/.*/hdfs/
RULE:[2:$1/$2@$0]([rn]m\/.*@EXAMPLE\.COM)s/.*/yarn/
RULE:[2:$1/$2@$0](jhs\/.*@EXAMPLE\.COM)s/.*/mapred/
DEFAULT
</value>
</property>
<!-- 启用Hadoop集群Kerberos安全认证 -->
<property>
<name>hadoop.security.authentication</name>
<value>kerberos</value>
</property>
<!-- 启用Hadoop集群授权管理 -->
<property>
<name>hadoop.security.authorization</name>
<value>true</value>
</property>
<!-- Hadoop集群间RPC通讯设为仅认证模式 -->
<property>
<name>hadoop.rpc.protection</name>
<value>authentication</value>
</property>
  • hdfs-site.xml
[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
增加以下内容

[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
增加以下内容
<!-- 访问DataNode数据块时需通过Kerberos认证 -->
<property>
<name>dfs.block.access.token.enable</name>
<value>true</value>
</property>
<!-- NameNode服务的Kerberos主体,_HOST会自动解析为服务所在的主机名 -->
<property>
<name>dfs.namenode.kerberos.principal</name>
<value>nn/_HOST@EXAMPLE.COM</value>
</property>
<!-- NameNode服务的Kerberos密钥文件路径 -->
<property>
<name>dfs.namenode.keytab.file</name>
<value>/etc/security/keytab/nn.service.keytab</value>
</property>
<!-- Secondary NameNode服务的Kerberos主体 -->
<property>
<name>dfs.secondary.namenode.keytab.file</name>
<value>/etc/security/keytab/sn.service.keytab</value>
</property>
<!-- Secondary NameNode服务的Kerberos密钥文件路径 -->
<property>
<name>dfs.secondary.namenode.kerberos.principal</name>
<value>sn/_HOST@EXAMPLE.COM</value>
</property>
<!-- NameNode Web服务的Kerberos主体 -->
<property>
<name>dfs.namenode.kerberos.internal.spnego.principal</name>
<value>HTTP/_HOST@EXAMPLE.COM</value>
</property>
<!-- WebHDFS REST服务的Kerberos主体 -->
<property>
<name>dfs.web.authentication.kerberos.principal</name>
<value>HTTP/_HOST@EXAMPLE.COM</value>
</property>
<!-- Secondary NameNode Web UI服务的Kerberos主体 -->
<property>
<name>dfs.secondary.namenode.kerberos.internal.spnego.principal</name>
<value>HTTP/_HOST@EXAMPLE.COM</value>
</property>
<!-- Hadoop Web UI的Kerberos密钥文件路径 -->
<property>
<name>dfs.web.authentication.kerberos.keytab</name>
<value>/etc/security/keytab/spnego.service.keytab</value>
</property>
<!-- DataNode服务的Kerberos主体 -->
<property>
<name>dfs.datanode.kerberos.principal</name>
<value>dn/_HOST@EXAMPLE.COM</value>
</property>
<!-- DataNode服务的Kerberos密钥文件路径 -->
<property>
<name>dfs.datanode.keytab.file</name>
<value>/etc/security/keytab/dn.service.keytab</value>
</property>
<!-- 配置NameNode Web UI 使用HTTPS协议 -->
<property>
<name>dfs.http.policy</name>
<value>HTTPS_ONLY</value>
</property>
<!-- 配置DataNode数据传输保护策略为仅认证模式 -->
<property>
<name>dfs.data.transfer.protection</name>
<value>authentication</value>
</property>
  • yarn-site.xml
[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/yarn-site.xml
增加以下内容

[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/yarn-site.xml
增加以下内容
<!-- Resource Manager 服务的Kerberos主体 -->
<property>
<name>yarn.resourcemanager.principal</name>
<value>rm/_HOST@EXAMPLE.COM</value>
</property>
<!-- Resource Manager 服务的Kerberos密钥文件 -->
<property>
<name>yarn.resourcemanager.keytab</name>
<value>/etc/security/keytab/rm.service.keytab</value>
</property>
<!-- Node Manager 服务的Kerberos主体 -->
<property>
<name>yarn.nodemanager.principal</name>
<value>nm/_HOST@EXAMPLE.COM</value>
</property>
<!-- Node Manager 服务的Kerberos密钥文件 -->
<property>
<name>yarn.nodemanager.keytab</name>
<value>/etc/security/keytab/nm.service.keytab</value>
</property>
  • mapred-site.xml
[root@hadoop01 ~]# vim /data/hadoop-3.1.3/etc/hadoop/mapred-site.xml
增加以下内容

<!-- 历史服务器的Kerberos主体 -->
<property>
<name>mapreduce.jobhistory.keytab</name>
<value>/etc/security/keytab/jhs.service.keytab</value>
</property>
<!-- 历史服务器的Kerberos密钥文件 -->
<property>
<name>mapreduce.jobhistory.principal</name>
<value>jhs/_HOST@EXAMPLE.COM</value>
</property>
（5）分发以上修改的配置文件

[root@hadoop01 ~]# xsync /data/hadoop-3.1.3/etc/hadoop/core-site.xml
[root@hadoop01 ~]# xsync /data/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
[root@hadoop01 ~]# xsync /data/hadoop-3.1.3/etc/hadoop/yarn-site.xml
[root@hadoop01 ~]# xsync /data/hadoop-3.1.3/etc/hadoop/mapred-site.xml

3.3 配置HDFS使用HTTPS安全传输协议

  • 生成密钥对
Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。

  1. -keystore：指定密钥库的名称及位置(产生的各类信息将存在.keystore文件中)
  2. -genkey(或者-genkeypair) ：生成密钥对
  3. -alias：为生成的密钥对指定别名，如果没有默认是mykey
  4. -keyalg：指定密钥的算法 RSA/DSA 默认是DSA
1）生成 keystore的及相应信息的密钥库

[root@hadoop01 ~]# keytool -keystore /etc/security/keytab/keystore -alias jetty -genkey -keyalg RSA
输入密钥库口令:
再次输入新口令:
您的名字与姓氏是什么?
[Unknown]:
您的组织单位名称是什么?
[Unknown]:
您的组织名称是什么?
[Unknown]:
您所在的城市或区域名称是什么?
[Unknown]:
您所在的省/市/自治区名称是什么?
[Unknown]:
该单位的双字母国家/地区代码是什么?
[Unknown]:
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
[否]: y
输入 <jetty> 的密钥口令
(如果和密钥库口令相同, 按回车):
再次输入新口令:

其中：公钥在证书中

2）修改keystore文件的所有者和访问权限

[root@hadoop01 ~]# chown -R root:hadoop /etc/security/keytab/keystore
[root@hadoop01 ~]# chmod 660 /etc/security/keytab/keystore
注意：

（1）密钥库的至少6个字符，可以是纯数字或者字母或者数字和字母的组合等等

（2）确保hdfs用户（HDFS的启动用户）具有对所生成keystore文件的读权限

3）将该证书分发到集群中的每台节点的相同路径

[root@hadoop01 ~]# xsync /etc/security/keytab/keystore
4）修改hadoop配置文件​​ssl-server.xml.example​​，该文件位于​​$HADOOP_HOME/etc/hadoop​​目录，修改文件名为ssl-server.xml

[root@hadoop01 ~]# mv $HADOOP_HOME/etc/hadoop/ssl-server.xml.example $HADOOP_HOME/etc/hadoop/ssl-server.xml
修改以下内容

[root@hadoop01 ~]# vim $HADOOP_HOME/etc/hadoop/ssl-server.xml
修改以下参数

<!-- SSL密钥库路径 -->
<property>
<name>ssl.server.keystore.location</name>
<value>/etc/security/keytab/keystore</value>
</property>
<!-- SSL密钥库密码 -->
<property>
<name>ssl.server.keystore.password</name>
<value>123456</value>
</property>
<!-- SSL可信任密钥库路径 -->
<property>
<name>ssl.server.truststore.location</name>
<value>/etc/security/keytab/keystore</value>
</property>
<!-- SSL密钥库中密钥的密码 -->
<property>
<name>ssl.server.keystore.keypassword</name>
<value>123456</value>
</property>
<!-- SSL可信任密钥库 -->
<property>
<name>ssl.server.truststore.password</name>
<value>123456</value>
</property>

5）分发ssl-server.xml文件

[root@hadoop01 ~]# xsync $HADOOP_HOME/etc/hadoop/ssl-server.xml

3.4 配置Yarn使用LinuxContainerExecutor

1）修改所有节点的container-executor所有者和权限，要求其所有者为root，所有组为hadoop（启动NodeManger的yarn用户的所属组），权限为6050。其默认路径为​​$HADOOP_HOME/bin​​

[root@hadoop01 ~]# chown root:hadoop /data/hadoop-3.1.3/bin/container-executor
[root@hadoop01 ~]# chmod 6050 /data/hadoop-3.1.3/bin/container-executor
[root@hadoop02 ~]# chown root:hadoop /data/hadoop-3.1.3/bin/container-executor
[root@hadoop02 ~]# chmod 6050 /data/hadoop-3.1.3/bin/container-executor
[root@hadoop03 ~]# chown root:hadoop /data/hadoop-3.1.3/bin/container-executor
[root@hadoop03 ~]# chmod 6050 /data/hadoop-3.1.3/bin/container-executor

2）修改所有节点的container-executor.cfg文件的所有者和权限，要求该文件及其所有的上级目录的所有者均为root，所有组为hadoop（启动NodeManger的yarn用户的所属组），权限为400。其默认路径为​​$HADOOP_HOME/etc/hadoop​​

[root@hadoop01 ~]# chown root:hadoop /data/hadoop-3.1.3/etc/hadoop/container-executor.cfg
[root@hadoop01 ~]# chown root:hadoop /data/hadoop-3.1.3/etc/hadoop
[root@hadoop01 ~]# chown root:hadoop /data/hadoop-3.1.3/etc
[root@hadoop01 ~]# chown root:hadoop /data/hadoop-3.1.3
[root@hadoop01 ~]# chown root:hadoop /data
[root@hadoop01 ~]# chmod 400 /data/hadoop-3.1.3/etc/hadoop/container-executor.cfg
[root@hadoop02 ~]# chown root:hadoop /data/hadoop-3.1.3/etc/hadoop/container-executor.cfg
[root@hadoop02 ~]# chown root:hadoop /data/hadoop-3.1.3/etc/hadoop
[root@hadoop02 ~]# chown root:hadoop /data/hadoop-3.1.3/etc
[root@hadoop02 ~]# chown root:hadoop /data/hadoop-3.1.3
[root@hadoop02 ~]# chown root:hadoop /data
[root@hadoop02 ~]# chmod 400 /data/hadoop-3.1.3/etc/hadoop/container-executor.cfg
[root@hadoop03 ~]# chown root:hadoop /data/hadoop-3.1.3/etc/hadoop/container-executor.cfg
[root@hadoop03 ~]# chown root:hadoop /data/hadoop-3.1.3/etc/hadoop
[root@hadoop03 ~]# chown root:hadoop /data/hadoop-3.1.3/etc
[root@hadoop03 ~]# chown root:hadoop /data/hadoop-3.1.3
[root@hadoop03 ~]# chown root:hadoop /data
[root@hadoop03 ~]# chmod 400 /data/hadoop-3.1.3/etc/hadoop/container-executor.cfg

3）修改$HADOOP_HOME/etc/hadoop/container-executor.cfg

[root@hadoop01 ~]# vim $HADOOP_HOME/etc/hadoop/container-executor.cfg

内容如下

yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred
min.user.id=1000
allowed.system.users=
feature.tc.enabled=false
  1. min.user.id：最小用户id，1000以下为系统用户

  1. banned.users：禁用的用户
  2. allowed.system.users：允许的系统用户
4）修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件

[root@hadoop01 ~]# vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
增加以下内容

<!-- 配置Node Manager使用LinuxContainerExecutor管理Container -->
<property>
<name>yarn.nodemanager.container-executor.class</name>
<value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>
<!-- 配置Node Manager的启动用户的所属组 -->
<property>
<name>yarn.nodemanager.linux-container-executor.group</name>
<value>hadoop</value>
</property>
<!-- LinuxContainerExecutor脚本路径 -->
<property>
<name>yarn.nodemanager.linux-container-executor.path</name>
<value>/data/hadoop-3.1.3/bin/container-executor</value>
</property>
5）分发container-executor.cfg和yarn-site.xml文件

[root@hadoop01 ~]# xsync $HADOOP_HOME/etc/hadoop/container-executor.cfg
[root@hadoop01 ~]# xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

4、安全模式下启动Hadoop集群

4.1 修改特定本地路径权限

local

$HADOOP_LOG_DIR

hdfs:hadoop

drwxrwxr-x

local

dfs.namenode.name.dir

hdfs:hadoop

drwx------

local

dfs.datanode.data.dir

hdfs:hadoop

drwx------

local

dfs.namenode.checkpoint.dir

hdfs:hadoop

drwx------

local

yarn.nodemanager.local-dirs

yarn:hadoop

drwxrwxr-x

local

yarn.nodemanager.log-dirs

yarn:hadoop

drwxrwxr-x

4.1.1 $HADOOP_LOG_DIR（所有节点）

该变量位于hadoop-env.sh文件，默认值为 ${HADOOP_HOME}/logs

[root@hadoop01 ~]# chown hdfs:hadoop /data/hadoop-3.1.3/logs/
[root@hadoop01 ~]# chmod 775 /data/hadoop-3.1.3/logs/
[root@hadoop02 ~]# chown hdfs:hadoop /data/hadoop-3.1.3/logs/
[root@hadoop02 ~]# chmod 775 /data/hadoop-3.1.3/logs/
[root@hadoop03 ~]# chown hdfs:hadoop /data/hadoop-3.1.3/logs/
[root@hadoop03 ~]# chmod 775 /data/hadoop-3.1.3/logs/

4.1.2 dfs.namenode.name.dir（NameNode节点）

该参数位于hdfs-site.xml文件，默认值为file://${hadoop.tmp.dir}/dfs/name

[root@hadoop01 ~]# chown -R hdfs:hadoop /data/hadoop-3.1.3/data/dfs/name/
[root@hadoop01 ~]# chmod 700 /data/hadoop-3.1.3/data/dfs/name/

4.1.3 dfs.datanode.data.dir（DataNode节点）

该参数为于hdfs-site.xml文件，默认值为file://${hadoop.tmp.dir}/dfs/data

[root@hadoop01 ~]# chown -R hdfs:hadoop /data/hadoop-3.1.3/data/dfs/data/
[root@hadoop01 ~]# chmod 700 /data/hadoop-3.1.3/data/dfs/data/
[root@hadoop02 ~]# chown -R hdfs:hadoop /data/hadoop-3.1.3/data/dfs/data/
[root@hadoop02 ~]# chmod 700 /data/hadoop-3.1.3/data/dfs/data/
[root@hadoop03 ~]# chown -R hdfs:hadoop /data/hadoop-3.1.3/data/dfs/data/
[root@hadoop03 ~]# chmod 700 /data/hadoop-3.1.3/data/dfs/data/

4.1.4 dfs.namenode.checkpoint.dir（SecondaryNameNode节点）

该参数位于hdfs-site.xml文件，默认值为file://${hadoop.tmp.dir}/dfs/namesecondary

[root@hadoop03 ~]# chown -R hdfs:hadoop /data/hadoop-3.1.3/data/dfs/namesecondary/
[root@hadoop03 ~]# chmod 700 /data/hadoop-3.1.3/data/dfs/namesecondary/

4.1.5 yarn.nodemanager.local-dirs（NodeManager节点）

该参数位于yarn-site.xml文件，默认值为file://${hadoop.tmp.dir}/nm-local-dir

[root@hadoop01 ~]# chown -R yarn:hadoop /data/hadoop-3.1.3/data/nm-local-dir/
[root@hadoop01 ~]# chmod -R 775 /data/hadoop-3.1.3/data/nm-local-dir/
[root@hadoop02 ~]# chown -R yarn:hadoop /data/hadoop-3.1.3/data/nm-local-dir/
[root@hadoop02 ~]# chmod -R 775 /data/hadoop-3.1.3/data/nm-local-dir/
[root@hadoop03 ~]# chown -R yarn:hadoop /data/hadoop-3.1.3/data/nm-local-dir/
[root@hadoop03 ~]# chmod -R 775 /data/hadoop-3.1.3/data/nm-local-dir/

4.1.6 yarn.nodemanager.log-dirs（NodeManager节点）

该参数位于​​yarn-site.xml​​文件，默认值为​​$HADOOP_LOG_DIR/userlogs​​

[root@hadoop01 ~]# chown yarn:hadoop /data/hadoop-3.1.3/logs/userlogs/
[root@hadoop01 ~]# chmod 775 /data/hadoop-3.1.3/logs/userlogs/
[root@hadoop02 ~]# chown yarn:hadoop /data/hadoop-3.1.3/logs/userlogs/
[root@hadoop02 ~]# chmod 775 /data/hadoop-3.1.3/logs/userlogs/
[root@hadoop03 ~]# chown yarn:hadoop /data/hadoop-3.1.3/logs/userlogs/
[root@hadoop03 ~]# chmod 775 /data/hadoop-3.1.3/logs/userlogs/

4.2 启动HDFS

需要注意的是，启动不同服务时需要使用对应的用户

  • 单点启动
（1）启动NameNode

[root@hadoop01 ~]# sudo -i -u hdfs hdfs --daemon start namenode
（2）启动DataNode

[root@hadoop01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
[root@hadoop02 ~]# sudo -i -u hdfs hdfs --daemon start datanode
[root@hadoop03 ~]# sudo -i -u hdfs hdfs --daemon start datanode
（3）启动SecondaryNameNode

[root@hadoop03 ~]# sudo -i -u hdfs hdfs --daemon start secondarynamenode
说明：

  1. -i：重新加载环境变量
  2. -u：以特定用户的身份执行后续命令
  • 群起
1）在主节点（hadoop01）配置hdfs用户到所有节点的免密登录。

2）修改主节点（hadoop01）节点的​​$HADOOP_HOME/sbin/start-dfs.sh​​脚本，在顶部增加以下环境变量。

[root@hadoop01 ~]# vim $HADOOP_HOME/sbin/start-dfs.sh
在顶部增加如下内容

HDFS_DATANODE_USER=hdfs
HDFS_NAMENODE_USER=hdfs
HDFS_SECONDARYNAMENODE_USER=hdfs
注：​​$HADOOP_HOME/sbin/stop-dfs.sh​​也需在顶部增加上述环境变量才可使用。

3）以root用户执行群起脚本，即可启动HDFS集群。

[root@hadoop01 ~]# start-dfs.sh

  • 查看HFDS web页面
访问地址为https://hadoop01:9871

还没有认证，不能访问文件

4.3 修改HDFS特定路径访问权限

hdfs

/

hdfs:hadoop

drwxr-xr-x

hdfs

/tmp

hdfs:hadoop

drwxrwxrwxt

hdfs

/user

hdfs:hadoop

drwxrwxr-x

hdfs

yarn.nodemanager.remote-app-log-dir

yarn:hadoop

drwxrwxrwxt

hdfs

mapreduce.jobhistory.intermediate-done-dir

mapred:hadoop

drwxrwxrwxt

hdfs

mapreduce.jobhistory.done-dir

mapred:hadoop

drwxrwx---

说明：

若上述路径不存在，需手动创建

1）创建hdfs/hadoop主体，执行以下命令并按照提示输入

[root@hadoop01 ~]# kadmin.local -q "addprinc hdfs/hadoop"
2）认证hdfs/hadoop主体，执行以下命令并按照提示输

[root@hadoop01 ~]# kinit hdfs/hadoop
3）按照上述要求修改指定路径的所有者和权限

（1）修改​​/、/tmp、/user​​路径

[root@hadoop01 ~]# hadoop fs -chown hdfs:hadoop / /tmp /user
[root@hadoop01 ~]# hadoop fs -chmod 755 /
[root@hadoop01 ~]# hadoop fs -chmod 1777 /tmp
[root@hadoop01 ~]# hadoop fs -chmod 775 /user
（2）参数​​yarn.nodemanager.remote-app-log-dir​​位于yarn-site.xml文件，默认值/tmp/logs

[root@hadoop01 ~]# hadoop fs -chown yarn:hadoop /tmp/logs
[root@hadoop01 ~]# hadoop fs -chmod 1777 /tmp/logs
（3）参数​​mapreduce.jobhistory.intermediate-done-dir​​位于mapred-site.xml文件，默认值为​​/tmp/hadoop-yarn/staging/history/done_intermediate​​，需保证该路径的所有上级目录（除/tmp）的所有者均为mapred，所属组为hadoop，权限为770

[root@hadoop01 ~]# hadoop fs -chown -R mapred:hadoop /tmp/hadoop-yarn/staging/history/done_intermediate
[root@hadoop01 ~]# hadoop fs -chmod -R 1777 /tmp/hadoop-yarn/staging/history/done_intermediate
[root@hadoop01 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/history/
[root@hadoop01 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/
[root@hadoop01 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/
[root@hadoop01 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/history/
[root@hadoop01 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/
[root@hadoop01 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/
（4）参数​​mapreduce.jobhistory.done-dir​​位于mapred-site.xml文件，默认值为​​/tmp/hadoop-yarn/staging/history/done​​，需保证该路径的所有上级目录（除/tmp）的所有者均为mapred，所属组为hadoop，权限为770

[root@hadoop01 ~]# hadoop fs -chown -R mapred:hadoop /tmp/hadoop-yarn/staging/history/done
[root@hadoop01 ~]# hadoop fs -chmod -R 750 /tmp/hadoop-yarn/staging/history/done
[root@hadoop01 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/history/
[root@hadoop01 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/
[root@hadoop01 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/
[root@hadoop01 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/history/
[root@hadoop01 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/
[root@hadoop01 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/

4.4 启动Yarn

1.单点启动

启动ResourceManager

[root@hadoop02 ~]# sudo -i -u yarn yarn --daemon start resourcemanager
启动NodeManager

[root@hadoop01 ~]# sudo -i -u yarn yarn --daemon start nodemanager
[root@hadoop02 ~]# sudo -i -u yarn yarn --daemon start nodemanager
[root@hadoop03 ~]# sudo -i -u yarn yarn --daemon start nodemanager
2.群起

1）在Yarn主节点（hadoop02）配置yarn用户到所有节点的免密登录。

2）修改主节点（hadoop02）的​​$HADOOP_HOME/sbin/start-yarn.sh​​，在顶部增加以下环境变量。

[root@hadoop02 ~]# vim $HADOOP_HOME/sbin/start-yarn.sh
在顶部增加如下内容

YARN_RESOURCEMANAGER_USER=yarn
YARN_NODEMANAGER_USER=yarn
注：stop-yarn.sh也需在顶部增加上述环境变量才可使用。

3）以root用户执行​​$HADOOP_HOME/sbin/start-yarn.sh​​脚本即可启动yarn集群。

[root@hadoop02 ~]# start-yarn.sh
3.访问Yarn web页面

访问地址为http://hadoop02:8088

4.5 启动HistoryServer

1.启动历史服务器

[root@hadoop01 ~]# sudo -i -u mapred mapred --daemon start historyserver
2.查看历史服务器web页面

访问地址为http://hadoop01:19888

KerberosHadoopsectioncodehadoophdfsxmlHadoop大数据

有关Hadoop Kerberos 集成的更多相关文章

  1. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用？ - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件，其中包含一个方法my_preference，它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如，这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中，我读到这可以通过在测试文件中包含requiresessions_helper来实现，但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么？require'test_helper'require'sessions_hel

  2. ruby-on-rails - 我如何将 Hoptoad 与 DelayedJob 和 DaemonSpawn 集成？ - 2

    我一直很高兴地使用DelayedJob习惯用法:foo.send_later(:bar)这会调用DelayedJob进程中对象foo的方法bar。我一直在使用DaemonSpawn在我的服务器上启动DelayedJob进程。但是...如果foo抛出异常，Hoptoad不会捕获它。这是任何这些包中的错误...还是我需要更改某些配置...或者我是否需要在DS或DJ中插入一些异常处理来调用Hoptoad通知程序？回应下面的第一条评论。classDelayedJobWorker 最佳答案 尝试monkeypatchingDelayed::W

  3. jenkins部署1--jenkins+gitee持续集成 - 2

    前置步骤我们都操作完了，这篇开始介绍jenkins的集成。话不多说，看操作1、登录进入jenkins后会让你选择安装插件，选择第一个默认的就行。安装完成后设置账号密码，重新登录。2、配置JDK和Git都需要执行路径，所以需要先把执行路径找到，先进入服务器的docker容器，2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击：ManageJenkins>>GlobalToolCon

  4. 三分钟集成 TapTap 防沉迷 SDK（Unity 版） - 2

    三分钟集成Tap防沉迷SDK（Unity版）一、SDK介绍基于国家对上线所有游戏必须增加防沉迷功能的政策下，TapTap推出防沉迷SDK，供游戏开发者进行接入；允许未成年用户在周五、六、日以及法定节假日晚上8:00-9:00进行游戏，防沉谜时间段进入游戏会弹窗进行提示！开发环境要求：Unity2019.4或更高版本iOS10或更高版本Android5.0（APIlevel21）或更高版本🔗Unity集成Demo参考链接🔗UnityTapSDK功能体验APK下载链接二、集成前准备1.创建应用进入开发者后台,按照提示开始创建应用；2.开通服务在使用TDS实名认证和防沉迷服务之前，需要在上面创建的应

  5. ruby-on-rails - RailsTutorial - 第 8.4.3 章 - 在集成测试中添加用户后未清除测试数据库 - 2

    我被这个难住了。到目前为止教程中的一切都进行得很顺利，但是当我将这段代码添加到我的/spec/requests/users_spec.rb文件中时，事情开始变得糟糕:describe"success"doit"shouldmakeanewuser"dolambdadovisitsignup_pathfill_in"Name",:with=>"ExampleUser"fill_in"Email",:with=>"ryan@example.com"fill_in"Password",:with=>"foobar"fill_in"Confirmation",:with=>"foobar"cl

  6. ruby-on-rails - 将 Angular JS 与 Rails 集成 - 2

    我需要一些指导来了解如何将Angular整合到rails中。选择Rails的原因:我喜欢他们偏执的做事方式。还有迁移，gem真的很酷。使用angular的原因:我正在研究和寻找最适合SPA的框架。Backbone似乎太抽象了。我不得不在Angular和Ember之间做出选择。我首先开始阅读Angular，它对我来说很有意义。所以我从来没有去读过关于ember的文章。使用Angular和Rails的原因:我研究并尝试使用小型框架，例如grape、slim(是的，我也使用php)。但我觉得需要坚持项目的长期范围。我个人喜欢用Rails的方式做事。这就是我需要帮助的地方，我在Rails4中有

  7. ruby - 在 Maven 集成中运行 Ruby 单元测试 - 2

    有没有人有在Maven中运行用Ruby编写的单元测试的经验。任何输入，如要使用的库/maven插件，将不胜感激!我们已经在使用Maven+hudson+Junit。但是我们正在引入Ruby单元测试，找不到任何同样好的组合。 最佳答案 我建议让Maven使用ExecMavenPlugin启动rake测试(exec:exec目标)并使用ci_reportergem生成单元测试结果的XML文件，Hudson、Bamboo等可以读取该文件，以与JUnit测试相同的格式显示测试结果。如果您不需要使用mvntest运行Ruby测试，您也可以只使

  8. ruby - 使用 Gatling 作为集成测试工具 - 2

    目前我有一小套针对我的网络服务器运行的集成测试，它发出请求并断言一些关于响应应该是什么的假设。这些是用Ruby编写的，生成http请求。我一直在看Gatling作为压力测试工具，但我想知道它是否也可以用于集成测试。这样，所有端点请求都可以在压力测试和集成测试中重复使用。我可能在这里失去了一些东西，因为没有RSpec的BDD，但不必两次创建相同的测试。有没有人有这样使用gatling的经验？ 最佳答案 您可以使用AssertionAPI并设置验收标准。但是，Gatling不是浏览器，不会运行/测试您的Javascript，因此这种方法

  9. Spring Boot集成ElasticSearach - 2

    文章目录前言一、Elasticsearch版本介绍二、客户端种类三、客户端与版本兼容性四、引入Elasticsearch依赖包五、客户端配置六、Elasticsearch使用前言ElasticSearch是Elastic公司出品的一款功能强大的搜索引擎，被广泛的应用于各大IT公司，它的代码位于https://github.com/elastic/elasticsearch，目前是一个开源项目。ElasticSearch公司的另外两个开源产品Logstash、Kibana与ElasticSearch构成了著名的ELK技术栈。。他们三个共同形成了一个强大的生态圈。简单地说，Logstash负责数据

  10. Streampark集成Cloudera Flink、ldap、告警，以及部署常见问题 - 2

    集成背景我们当前集群使用的是ClouderaCDP，Flink版本为ClouderaVersion1.14，整体Flink安装目录以及配置文件结构与社区版本有较大出入。直接根据Streampark官方文档进行部署，将无法配置FlinkHome，以及后续整体Flink任务提交到集群中，因此需要进行针对化适配集成，在满足使用需求上，尽量提供完整的Streampark使用体验。集成步骤版本匹配问题解决首先解决无法识别Cloudera中的FlinkHome问题，根据报错主要明确到的事情是无法读取到Flink版本、lib下面的jar包名称无法匹配。修改对象：修改源码：（解决无法匹配clouderajar

随机推荐