文章目录一、简介1、定义2、HDFS优缺点3、HDFS组成架构4、HDFS文件块大小二、HDFS的读写流程1、HDFS写数据流程2、HDFS读数据流程3、网络拓扑-节点距离计算4、机架感知（副本存储节点选择）三、NameNode和SecondaryNameNode1、NN和2NN工作机制2、Fsimage和Edits解析3、CheckPoint时间设置四、DataNode1、DataNode工作机制2、数据完整性3、掉线时参数设置五、HDFS的Shell操作1、基本操作2、文件上传3、文件下载六、HDFS的API操作1、客户端环境准备2、HDFS的API操作2.1获取链接2.2上传文件2.3下
什么是HDFS？HDFS的全称是hadoopdistributedfilesystem，即hadoop的分布式文件系统。见名知意，它就是用来进行文件存储的。毕竟它是大数据的一个组件，用来存储这种海量的数据。它是基于03年10月份，谷歌发表的GFS这篇论文做的开源实现。目前是hadoop的一个核心子项目，用来解决海量数据存储的问题。hadoop的三个子项目，一个是HDFS，一个是YARN，一个是MapReduce。目前在开源大数据技术体系中，它的地位是无可替代的。第一它诞生年限比较早，这么长时间的发展，它是非常成熟非常可靠的。再一个它的生态圈也非常广泛，社区这一块也非常活跃。在分布式文件系统选型
1、配置方式2、实际操作演示（1）在Hadoop用户的根目录下创建text.txt文件（2）上传文件hadoop@node1:~$hdfsdfs-lshdfs://node1:8020/Found4itemsdrwxr-xr-x-hadoopsupergroup02023-11-2123:06hdfs://node1:8020/home-rw-r--r--2hadoopsupergroup352023-11-2622:54hdfs://node1:8020/text.txt-rw-r--r--3hadoopsupergroup272023-11-2622:57hdfs://node1:8020
这里写自定义目录标题问题描述解决办法总结问题描述使用命令start-dfs.sh启动集群，然后使用jps查看进程时发现没有namenode，SecondaryNameNode、和DataNode正常启动，其他集群的DataNode也是正常启动。然后去/export/server/hadoop-3.3.4/logs查找日志文件，发现日志中的错误信息为：ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode:Failedtostartnamenode.java.io.IOException:FailedtoloadFSImagefile,seeer
这里没有/tmp目录我们需要查看虚拟机中也没有这个目录[root@node01/]#lsbin dev export lib lost+found mnt proc run srv tmp varboot etc home lib64 media opt root sbin sys usr[root@node01/]#cdtmp[root@node01tmp]#ls 我们发现/目录下是有tmp目录的，我们进去看看/tmp目录中有个VMwareDnD文件，我们需要把这个文件删除 最后，我们重启集群，就可以出现tmp目录了。
一、了解HDFS常用Shell命令1、三种Shell命令方式命令适用场合hadoopfs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统hadoopdfs只能适用于HDFS文件系统hdfsdfshdfsdfs跟hadoopdfs的命令作用一样，也只能适用于HDFS文件系统2、常用HDFS的shell命令序号命令命令1hdfsdfs-ls显示指定的文件或目录的详细信息。2hdfsdfs-ls-Rls命令的递归版本。3hdfsdfs-cat将指定文件的内容输出到标准输出。4hdfsdfschgrp[-R]group将指定文件所属的组改为group，使用-R对指定目录内的文件进行递归操作
要通过web访问HDFS（Hadoop分布式文件系统），你可以使用Hadoop提供的Web界面来管理和监控HDFS。默认情况下，Hadoop提供了以下两个主要的Web界面：HDFSNameNodeWebUI：这是Hadoop集群的文件系统管理界面，它提供了对文件和目录的浏览、权限设置、文件复制数量等的管理。通常情况下，可以在浏览器中输入以下地址来访问：http://:50070/其中是你的Hadoop集群中NameNode节点的主机名或IP地址。HadoopResourceManagerWebUI：这是Hadoop集群的资源管理器界面，它提供了有关集群资源使用情况的信息，包括正在运行的作业、集
一、实验目标通过JavaAPI来操作HDFS文件系统HDFS，相关的操作有：文件上传、文件下载、新建文件夹、查看文件、删除文件。二、条件准备1.Linux下安装好hadoop，这里使用hadoop2.7.32.window解压hadoop2.7.3的包2.Windows下安装好jdk1.8 3.Windows下安装好IDEA，这里使用IDEA20224.Windows下安装好maven，这里使用Maven3.6.35.在win系统下不配置hadoop环境，直接运行代码会报错，显示缺少winutils.exe和hadoop.dll两个文件. (文件位于个人主页&(13条消息)Hadoop系统应
背景最近发现集群主节点总有进程宕机，定位了大半天才找到原因，分享一下排查过程查询hiveserver2和namenode日志，都是正常的，突然日志就不记录了，直到我重启之后又恢复工作了。排查各种日志都是正常的，直到查看Grafana，发现内存满了在这个节点下已无内存资源可用，在服务宕掉的节点内存使用突然下降，猜测是linux内核的杰作，故查询系统日志grep"Outofmemory"/var/log/messages果然存在因OOM被杀掉的进程进程被杀的原因Linux内核有个机制叫OOMkiller，全称为OutOfMemorykiller，很形象的一个名字——内存溢出杀手，这个机制会监控那些
HDFS的常用命令1.操作命令1.1创建文件夹1.2列出指定的文件和目录1.3新建文件1.4上传文件1.5将本地文件移动到HDFS1.6下载文件1.7查看文件1.8追写文件1.9删除目录或者文件1.10显示占用的磁盘空间大小1.11HDFS中的文件复制1.12HDFS中的文件移动2.管理命令2.1报告文件系统的基本信息和统计信息2.2查看拓扑3.其他命令1.操作命令操作命令是以hdfsdfs开头的命令。通过这些命令，用户可以完成HDFS文件的复制、删除和查找等操作，Shell命令的一般格式如下。hdfsdfs[通用选项]其中，hdfs是Hadoop系统在Linux系统中的主命令；dfs是子命令
