1.配置映射文件（/etc/hosts）vim/etc/hosts2.配置hadoop-env.sh（1）查看JAVA_HOME的安装目录echo$JAVA_HOME#【复制此路径】（2）修改此文件中JAVA_HOME的值，其余不变，并保存vimhadoop-env.sh----修改JAVA_HOME的值为刚才得到的路径值（exportJAVA_HOME=/opt/modlue/jdk）----Esc+：wq3.配置core-site.xml（1）从core-default.xml中搜索【fs.default】,将这个参数的整体复制到core-site.xml中， fs.defaultFS
1.配置映射文件（/etc/hosts）vim/etc/hosts2.配置hadoop-env.sh（1）查看JAVA_HOME的安装目录echo$JAVA_HOME#【复制此路径】（2）修改此文件中JAVA_HOME的值，其余不变，并保存vimhadoop-env.sh----修改JAVA_HOME的值为刚才得到的路径值（exportJAVA_HOME=/opt/modlue/jdk）----Esc+：wq3.配置core-site.xml（1）从core-default.xml中搜索【fs.default】,将这个参数的整体复制到core-site.xml中， fs.defaultFS
CentosLinux安装单机Hadoop（HDFS）视频教程链接：https://www.bilibili.com/video/BV1we4y1z7VT/1.Hadoop简介Hadoop是一个开源的分布式计算和存储框架，是Apache基金会开发的，包含3个核心组件：HDFS：全称是HadoopDistributedFileSystem，即Hadoop分布式文件系统。可以将将大文件、大批量文件分块存储到大量服务器组成的集群上。MapReduce：分布式运算框架，可以基于它编写MapReduce应用程序，对大规模数据集（大于1TB）进行并行运算；Yarn：分布式资源调度管理器，可以运行MapRe
1、背景我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在hdfs中是如何做才能做到数据的透明加密呢？2、常见的加密层级常见的加密层级应用层加密： 这是最安全和最灵活的方法。加密内容最终由应用程序来控制。并且可以精确的反应用户的需求。但是，编写应用程序来实现加密一般都比较困难。数据库层加密： 类似于应用程序级加密。大多数数据库供应商都提供某种形式的加密。但是可能存在性能问题。比如：索引无法加密。文件系统层加密： 这种方式对性能影响不大，且对应用程序是透明的，一般也比较容易实施
读数据流程客户端向NameNode请求文件的位置：客户端想要访问一个文件时，会向NameNode发送一个请求，要求获取该文件在HDFS上的位置信息。NameNode将位置信息返回给客户端：NameNode接收到客户端的请求后，会返回该文件所在的DataNode节点的IP地址和块ID等信息。客户端连接DataNode获取数据：客户端根据NameNode返回的信息，连接包含所需数据块的DataNode并请求读取数据。DataNode返回数据给客户端：DataNode收到客户端的读取请求，从本地磁盘读取相应的数据块，并将其返回给客户端。客户端合并数据：如果所请求的数据块不止一个，客户端可以根据需要将
分布式文件系统分布式文件系统的结构1、名称节点（“主节点”）:负责文件和目录的创建、删除和重命名等，同时管理着数据节点和文件块之间的映射关系。2、数据节点（“从节点”）:负责数据的存储和读取。在存储时，由名称节点分配存储位置，然后由客户端把数据直接写入相应的数据节点；在读取时，客户端从名称节点获得数据节点和文件块之间的映射关系，然后就可以到相应位置访问文件块。数据节点也要根据名称节点的命令创建、删除和复制数据块。HDFS相关概念1、名称节点的两个核心数据结构是FsImage和EditLog.2、第二名称节点的功能有两方面：首先，它可以完成EditLog与FsImage的合并操作，减小EditL
文章目录BrokerLoad通配符导入HDFS数据并指定列顺序一、创建Doris表二、准备HDFS数据
hadoop-hdfs集群安全模式详解HDFS安全模式影响在安全模式下,文件系统只接受读数据请求，而不接受删除、修改等变更请求HDFS进入安全模式场景NameNode在加载镜像文件和编辑日志期间处于安全模式NameNode再接收DataNode注册时处于安全模式在hdfs集群启动服务时会进入安全模式在人为操作时，刻意手动执行hdfsdfsadmin-safemodeenter进入安全模式安全模式相关命令查看安全模式hdfsdfsadmin-safemodeget进入安全模式状hdfsdfsadmin-safemodeenter离开安全模式hdfsdfsadmin-safemodeleave等待
在学习黑马2023大数据教程过程中，首先依照视频完成了如下配置：【必须】【黑马2023大数据实战教程】大数据集群环境准备过程记录（3台虚拟机）黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程最后node1的hadoop用户下输入start-dfs.sh一键启动hdfs集群成功，三台虚拟机使用`jps’命令查看结果如下：说明集群部署基本是成功的，但是在网页输入"node1:9870"时无法打开网页，显示配置端口最后通过在hdfs-site.xml文件中显示配置通过浏览器访问hdfs的端口：先进到hdfs-site.xml对应目录，我是依照教程部署的，所以cd/export/
Hdfsdfs-appendToFile：把本地文件中的内容追加到HDFS中指定文件的末尾Hdfsdfs-cat：用于查看分布式文件系统中指定文件里面的内容；两个命令在一个截图中Hdfsdfs-checksum：用来查看指定文件的MD5值Hdfsdfs-charp：对分布式文件系统中的文件进行授权给指定用户Hdfsdfs-chmod --R：对分布式文件系统中的文件进行授权Hdfsdfs-chown：对HDFS中的文件进行权限授予Hdfsdfs-copyFromLocal-f -l -p：把本地的文件复制到HDFS路径中Hdfsdfs-copyToLocal -p -ignoreCrc
