目录1.集群规划２.文件配置3.启动集群4.查看集群 在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成zookeeper搭建工作。1.集群规划节点NameNodeDataNodeResourceManagerNodeManagerJournalNodeZKFCQuorumPeerMainmaster√√√√√√√slave1√√√√√√slave2√√√√集群规划完成后，既可以开始搭建HDFSHA集群环境。２.文件配置 Hadoop的相关配置文件主要包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和worker
1、背景在我们开发的过程中有这么一种场景，/projectA目录是hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问这个目录，在不修改root用户组和其他人的权限的情况下，还有什么方式可以实现这个功能呢？背景由上图可以，root用户想访问/projectA目录，在hdfs中可以通过acl来实现。2、环境准备#创建目录[hadoopdeploy@hadoop01~]$hdfsdfs-mkdir/projectA#列出
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
HDFS的常见Shell操作直接在命令行中输入hdfsdfs，可以查看dfs后面可以跟的所有参数注意：这里面的[]表示是可选项，表示是必填项[root@bigdata01hadoop-3.3.2]#hdfsdfsUsage:hadoopfs[genericoptions][-appendToFile...][-cat[-ignoreCrc]...][-checksum[-v]...][-chgrp[-R]GROUPPATH...][-chmod[-R]PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-concat...][-copyFromLocal[
文章目录一.问题描述二.问题分析与解决1.HDFS块损坏1.1.问题表述1.2.问题解决直接删除文件的情况需要文件恢复的情况2.副本同步问题2.1.问题表述2.2.问题解决一.问题描述搭建了一个Hadoop的demo环境，用于一些功能测试，使用了一段时间之后发现flink任务提交不到hadoop上了。查看资源也都充足，查看hdfs后发现文件出现丢失和损坏的情况。此文章用于解决hdfs文件的问题。 二.问题分析与解决1.HDFS块损坏1.1.问题表述执行命令：hdfsfsck/发现文件存在丢失和损坏的情况...../dodb/datalake/jars/110/e24d18b0014183c95
文章目录前言一、实验简介二、分析与设计1.功能需求分析：2.系统设计三、效果展示四、环境配置五、功能实现1.基础部分2.用户管理3.文件管理六、项目资源七、其他八、参考文件前言基于HDFS的云盘系统实现了云盘的基本数据存储和访问功能。此为大二下大数据平台与架构的综合实验内容，本文旨在记录过程和问题，固然存在很多不合理的地方。一、实验简介云盘系统通过互联网为企业和个人提供信息的存储、读取、下载等服务。具有安全稳定、海量等特点。目前，云盘系统逐步走向成熟，特别是公有云盘能够向用户提供免费存储，，离线下载，文件智能分类等功能。随着互联网的不断普及，用户存储在云盘上的数据量越来越大，数据类型页越来越多
一、系统基础服务配置主机名IP操作系统CPU内存磁盘Hive0110.86.102.104Centos7.9.2009Xeon4208X16192G46THive0210.86.102.102Centos7.9.2009Xeon4208X16192G46THive0310.86.102.105Centos7.9.2009Xeon8260X48256G 11T最终组成的是一个双副本56T的集群，设置YARN内存共400GB（可调）3台服务器安装CentOSLinuxrelease7.9操作系统，系统盘采用两个小容量的SSD组raid1（分区默认），数据盘使用整体raid5方式组成（rai
客户端环境准备hadoop的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。配置HADOOP_HOME环境变量配置Path环境变量。不能放在包含有空格的目录下，cmd输入hadoop显示此时不应有\hadoop-3.0.0\bin\。我放在E:\ProgramFiles(x86)\hadoop-3.0.0\bin\中，就出现错误验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。里面有对应的微软运行库安装包双击安装即可。配置Path环境变量。然后重启电脑如果上述操作后在后面代码执行的过程
Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问查看HDFS集群状态在浏览器里访问http://master:9870 （如果你有同名的master，把master改为ip地址） 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870 修改宿主机的C:\Windows\System32\dr
