在启动HDFS的时候执行start-dfs.sh脚本的时候出现如下问题[root@node01sbin]#./start-dfs.shWARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson[node01]上一次登录：一10月2417:11:04CST2022pts/1上node01:ERROR:JAVA_HOMEisnotsetandcouldnotbefound.Startingdatanodes上
第1章HDFS概述1.1HDFS产出背景及定义1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
目录写在前面一、HDFS概述1.1HDFS简介1.2HDFS优缺点1.2.1优点1.2.2缺点1.3HDFS组成架构1.4HDFS文件块大小二、HDFS的Shell操作（开发重点）2.1基本语法2.2命令大全2.3常用命令实操2.3.1上传2.3.2下载2.3.3HDFS直接操作三、HDFS的API操作3.1配置Windows3.2HDFS的API案例实操3.2.1HDFS文件上传3.2.2HDFS文件下载3.2.3HDFS文件更名和移动3.2.4HDFS删除文件和目录3.2.5HDFS文件详情查看3.2.6HDFS文件和文件夹判断写在最后写在前面如今，数据正以指数级增长，各行各业都在追求更多
切记在hadoop用户下进行，记得从root切换（su-hadoop）一，启停命令1.一键启停 #一键启动hdfs集群start-dfs.sh#一键关闭hdfs集群stop-dfs.sh2.单进程启停1.$HADOOP_HOME/sbin/hadoop-daemon.sh，此脚本可以单独控制所在机器的进程的启停用法：hadoop-daemon.sh(start|status|stop)(namenode|secondarynamenode|datanode)2.$HADOOP_HOME/bin/hdfs，此程序也可以用以单独控制所在机器的进程的启停用法：hdfs--daemon(start|
一、元数据是什么在HDFS中，元数据主要指的是文件相关的元数据，通过两种形式来进行管理维护，第一种是内存，维护集群数据的最新信息，第二种是磁盘，对内存中的信息进行维护与持久化，由namenode管理维护。从广义的角度来说，因为namenode还需要管理众多的DataNode结点，因此DataNode的位置和健康状态信息也属于元数据。二、文件的组成meta:文件的索引，文件和目录是文件系统的基本元素，HDFS将这些元素抽象成INode，每一个文件或目录都对应一个唯一的INode。block:真实的数据存储的位置，Block是对于文件内容组织而言的，按照固定大小，顺序对文件进行划分并编号，划分好的
文章目录一，了解HDFSJavaAPI（一）HDFS常见类与接口（二）FileSystem的常用方法二，编写Java程序访问HDFS01创建Maven项目02添加相关依赖03创建日志属性文件（1）在resources目录里创建log4j.properties文件04启动集群HDFS服务05在HDFS上创建文件（1）创建net.army.hdfs包（2）在net.army.hdfs包里创建CreateFileOnHDFS类（3）编写create1()方法（4）编写create2()方法，事先判断文件是否存在06写入HDFS文件（1）在net.hw.hdfs包里创建WriteFileOnHDFS类
EfCore花里胡哨系列(1)SafeDelete、ReadOnly、Audit安全删除、只读、审计等在软件设计中，软删除是一种常见的数据管理技术，用于标记和隐藏被删除的数据，而不是永久地从数据库中删除它们。软删除通常通过在数据表中添加一个额外的标志列（例如"IsDeleted"）来实现。当数据被删除时，该标志列被设置为指示删除状态的值（通常是true或1），而不是直接从数据库中删除数据记录。使用软删除的主要原因是保留数据的完整性和可追溯性。通过软删除，我们可以避免永久删除数据，从而避免意外或不可逆的数据丢失。软删除还可以帮助我们满足法律、合规性或审计要求，因为我们可以跟踪和记录数据的删除历史
目录HadoopHadoop的优势Hadoop的组成HDFS架构设计Yarn架构设计MapReduce架构设计总结在大数据时代，Hadoop作为一种开源的分布式计算框架，已经成为处理大规模数据的首选工具。它采用了分布式存储和计算的方式，能够高效地处理海量数据。Hadoop的核心由三大组件组成：HDFS、MapReduce和YARN。本文将为您逐一介绍这三个组件。HadoopHadoop是一个开源的分布式计算和存储框架，主要解决海量数据的存储和海量数据的分析计算。Hadoop的优势高可扩展性：Hadoop可以轻松地扩展到大规模集群，并处理大量的数据。它采用分布式计算的方式，将工作负载分布在集群中
EfCore花里胡哨系列(1)SafeDelete、ReadOnly、Audit安全删除、只读、审计等在软件设计中，软删除是一种常见的数据管理技术，用于标记和隐藏被删除的数据，而不是永久地从数据库中删除它们。软删除通常通过在数据表中添加一个额外的标志列（例如"IsDeleted"）来实现。当数据被删除时，该标志列被设置为指示删除状态的值（通常是true或1），而不是直接从数据库中删除数据记录。使用软删除的主要原因是保留数据的完整性和可追溯性。通过软删除，我们可以避免永久删除数据，从而避免意外或不可逆的数据丢失。软删除还可以帮助我们满足法律、合规性或审计要求，因为我们可以跟踪和记录数据的删除历史
1.什么是大数据狭义（技术思维）：使用分布式技术完成海量数据的处理，得到数据背后蕴含的价值。广义：大数据是数字化时代，信息化时代的基础（技术）支撑，以数据为生活赋能。大数据的核心工作：从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。（海量数据存储、海量数据传输、海量数据计算）2.大数据的核心工作存储：妥善保存海量待处理数据计算：完成海量数据的价值挖掘传输：协助各个环节的数据传输3.大数据的生态存储：ApacheHadoopHDFS、ApacheHBase、ApacheKudu、云平台计算：ApacheHadoopMapReduce、ApacheSpark、ApacheFlink传
