一、清理目录1、执行sudo-uhdfshadoopfs-du-h/查询hdfs中各目录的占用的空间，进入占用最多的目录中（/tmp目录等）2、找到目录/tmp/repay_prpjpolicypayment占用了大量空间3、执行hdfsdfs-rm-r/tmp/repay_prpjpolicypayment删除此目录下的文件夹4、删除的文件会被保存到/user/hdfs/.Trash，清空回收站即可二、清空回收站1.由于HDFS有回收站，删除文件会先放到回收站里边，如果着急释放空间，需要清理HDFS回收站2、在删除HDFS文件时，可以使用命令：hdfsdfs-rm-skipTrash/tmp
Flink系列文章1、Flink1.12.7或1.13.5详细介绍及本地安装部署、验证2、Flink1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至onyarn运行4、介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与Kafka的source、sink介绍5、Flink的source、transformations、sink的详
一、概述HDFS是Hadoop的分布式文件系统（HadoopDistributedFileSystem），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。二、HDFS结构HDFS包含主、备NameNode和多个DataNode，如下图所示。HDFS是一个Master/Slave的架构，在Master上运行NameNode，而在每一个Slave上运行DataNode，ZKFC需要和Nam
1、如果连接被拒绝，则输入：source~/.bash_profile:2、进入到sbin目录下输入：start-dfs.sh，重启一下。之后再输入hdfsdfs-ls/，没有出现拒绝连接即可。3、若需要创建目录，则输入：hdfsdfs-mkdir/(文件名字）进入浏览器，即可查看到创建的目录：如图所示：4、创建的多个目录，在虚拟机上查看：hdfsdfs-ls/在浏览器上查看：5、查看数目：hadoopfs-du-h/6、若想要删除其目录，则输入：Hadoopfs-rm-r/date01/date01017、批量删除：hadoopfs-rm-r/dat*8、浏览器查看结果：完毕！😊
hbase优化一.读优化1.客户端： scan。cache设置是否合理：大scan场景下将scan缓存从100增大到500或者1000，用以减少RPC次数 使用批量get进行读取请求 离线批量读取请求设置禁用缓存，scan.setBlockCache(false) 以指定列族或者列进行精确查找的尽量指定查找2.服务器： 读请求是否均衡：：RowKey必须进行散列化处理（比如MD5散列），同时建表必须进行预分区处理 BlockCache是否设置合理：VM内存配置量3.列簇：是否过多、是否使用布隆过滤器：任何业务都应该设置Bloomfilter，通常设置为row就可以，除非确认业务随机查询类型为r
我很高兴连接到HDFS并列出我的主目录:Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://hadoop:8020");conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");FileSystemfs=FileSystem.get(conf);RemoteIteratorri=fs.listFiles(fs.getHomeDirectory(),false);while(ri.hasNext()){LocatedF
我的hadoop启动时出现以下错误。ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode:java.io.IOException:IncompleteHDFSURI,nohost:hdfs://XX.XX.XX.XX:X000在我的core-site.xml中，配置如下fs.default.namehdfs://master_Server:9000/我的集群处于独立模式。 最佳答案 因为下划线(_)是不允许的。如果你的其他配置没问题，可能是问题。你的配置文件应该是这样的fs.def
1.Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。2.Hadoop的优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务粗粒速度。高容错性：能够自动将失败的任务重新分配。3.Hadoop组成（面试重点）4.HDFS架构概述HDFS（Hadoo
我正在尝试附加到单节点集群上的hdfs上的文件。我还尝试了一个2节点集群，但得到了相同的异常。在hdfs-site中，我将dfs.replication设置为1。如果我设置dfs.client.block.write.replace-datanode-on-failure.policy到DEFAULT我得到以下异常java.io.IOException:Failedtoreplaceabaddatanodeontheexistingpipelineduetonomoregooddatanodesbeingavailabletotry.(Nodes:current=[10.10.37.1
1文件系统是一种存储和组织数据的方法，它使得文件访问和查询变得容易使得文件和树形目录的抽象逻辑概念代替了磁盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据底层存在硬盘哪里，只需记住这个文件的所属目录和文件名文件系统通常使用磁盘和光盘这样的存储设备，并维护文件在设备中的物理位置。文件系统是一套实现了数据的存储、分级组织、访问和获取等操作的抽象数据类型（Abstractdatatype）文件名DOS操作系统中文件名由文件主名和扩展名组成，之间以一个小圆点隔开文件名可用于用于定位存储位置、区分不同文件，计算机实行按名存取的操作方式某些符号因其有特殊含义，一般不允许出现在文件
