1、客户端环境准备（1）将Hadoop-2.9.2安装包解压到非中文路径（例如：E:\hadoop-2.9.2）（2） 配置HADOOP_HOME环境变量（3） 配置Path环境变量。（4） 创建一个Maven工程ClientDemo（5）导入相应的依赖坐标+日志配置文件4.0.0com.lagou.hdfsclient_demo1.0-SNAPSHOTjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client2
大数据学习笔记01学习林子雨大数据教材的一些笔记HDFS常用操作启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$cd/usr/local/hadoop$./sbin/start-dfs.sh$jps在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt$cd/usr/local/spark$mkdirmycode$touchWord.txt||$vimWord.txt将HDFS中Word.txt文件在终端显示$pwd查看所在路径$./bin/hdfsdfs-cat./Word.txt在HDFS中的“/u
目录1.集群规划２.文件配置3.启动集群4.查看集群 在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成zookeeper搭建工作。1.集群规划节点NameNodeDataNodeResourceManagerNodeManagerJournalNodeZKFCQuorumPeerMainmaster√√√√√√√slave1√√√√√√slave2√√√√集群规划完成后，既可以开始搭建HDFSHA集群环境。２.文件配置 Hadoop的相关配置文件主要包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和worker
1、背景在我们开发的过程中有这么一种场景，/projectA目录是hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问这个目录，在不修改root用户组和其他人的权限的情况下，还有什么方式可以实现这个功能呢？背景由上图可以，root用户想访问/projectA目录，在hdfs中可以通过acl来实现。2、环境准备#创建目录[hadoopdeploy@hadoop01~]$hdfsdfs-mkdir/projectA#列出
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
HDFS的常见Shell操作直接在命令行中输入hdfsdfs，可以查看dfs后面可以跟的所有参数注意：这里面的[]表示是可选项，表示是必填项[root@bigdata01hadoop-3.3.2]#hdfsdfsUsage:hadoopfs[genericoptions][-appendToFile...][-cat[-ignoreCrc]...][-checksum[-v]...][-chgrp[-R]GROUPPATH...][-chmod[-R]PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-concat...][-copyFromLocal[
文章目录一.问题描述二.问题分析与解决1.HDFS块损坏1.1.问题表述1.2.问题解决直接删除文件的情况需要文件恢复的情况2.副本同步问题2.1.问题表述2.2.问题解决一.问题描述搭建了一个Hadoop的demo环境，用于一些功能测试，使用了一段时间之后发现flink任务提交不到hadoop上了。查看资源也都充足，查看hdfs后发现文件出现丢失和损坏的情况。此文章用于解决hdfs文件的问题。 二.问题分析与解决1.HDFS块损坏1.1.问题表述执行命令：hdfsfsck/发现文件存在丢失和损坏的情况...../dodb/datalake/jars/110/e24d18b0014183c95
文章目录前言一、实验简介二、分析与设计1.功能需求分析：2.系统设计三、效果展示四、环境配置五、功能实现1.基础部分2.用户管理3.文件管理六、项目资源七、其他八、参考文件前言基于HDFS的云盘系统实现了云盘的基本数据存储和访问功能。此为大二下大数据平台与架构的综合实验内容，本文旨在记录过程和问题，固然存在很多不合理的地方。一、实验简介云盘系统通过互联网为企业和个人提供信息的存储、读取、下载等服务。具有安全稳定、海量等特点。目前，云盘系统逐步走向成熟，特别是公有云盘能够向用户提供免费存储，，离线下载，文件智能分类等功能。随着互联网的不断普及，用户存储在云盘上的数据量越来越大，数据类型页越来越多
一、系统基础服务配置主机名IP操作系统CPU内存磁盘Hive0110.86.102.104Centos7.9.2009Xeon4208X16192G46THive0210.86.102.102Centos7.9.2009Xeon4208X16192G46THive0310.86.102.105Centos7.9.2009Xeon8260X48256G 11T最终组成的是一个双副本56T的集群，设置YARN内存共400GB（可调）3台服务器安装CentOSLinuxrelease7.9操作系统，系统盘采用两个小容量的SSD组raid1（分区默认），数据盘使用整体raid5方式组成（rai
