namenode解析：维护整个文件系统目录结构树，文件、目录的各种信息（相当于ls-l），还有文件（对应的数据块列表）存放在hdfs各个节点的信息；接受客户端（用户）的访问（操作）请求；Namenode（存储的信息主要存储在以下4个文件）主要有以下4个文件控制它的配置【错误，记忆的偏差点】：fsimage,edits,seed_txid,version...（上述文件所在路径有一个参数（dfs.namenode.name.dir）去控制：）配置文件：hdfs-default.xml-配置namenode的各种属性是hdfs-site.xml的派生（会覆盖hdfs-default.xml），当没
通过跨集群复制（CrossClusterReplication-CCR），你可以跨集群将索引复制并实现：在数据中心中断时继续处理搜索请求防止搜索量影响索引吞吐量通过在距用户较近的地理位置处理搜索请求来减少搜索延迟跨集群复制采用主动-被动模型。你索引到领导者（leader）索引，并将数据复制到一个或多个只读跟随者（follower）索引。在将跟随者索引添加到集群之前，必须配置包含领导者索引的远程集群。当领导者索引接收写入时，跟随者索引会从远程集群上的领导者索引中提取更改。你可以手动创建跟随者索引，也可以配置自动跟随模式，为新的时间序列索引自动创建跟随者索引。你可以在单向或双向设置中配置跨集群复制
使用JavaAPI操作hdfs文件的常用操作代码1.创建目录@Testpublicvoidmkdir()throwsException{fileSystem.mkdir(newPath("/hdfsapi/test"));}2.创建文件@Testpublicvoidcreate()throwsException{FSDataOutputStreamoutput=fileSystem.create(newPath("/hdfsapi/test/a.txt"));output.write("helloworld".getBytes());output.flush();output.close
一、同步环境1.mongodb版本：3.6.3。（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控）2.datax版本：自己编译的DataX-datax_v2022103.hdfs版本：3.1.34.hive版本：3.1.2二、同步思路1.增量数据：需要每隔1小时将mongodb中17个集合的数据同步至hive，因为有数据生成时间，才用datax查询方式，将上一个小时的数据依次循环调用datax同步至hdfs，利用shell脚本和调度器定时装载至hive中形成ods层，并和其他表关联处理形成dwd层，提供给需求方。2.全量数据：历史数据才用datax编写脚本循环读取+调度+h
问题描述：es中数据一直没有更新进来，第一步想到的是看看logstash是否将数据打到了es中，就发现了这个报错：{"type"=>"cluster_block_exception","reason"=>"blockedby:[FORBIDDEN/12/indexread-only/allowdelete(api)];"}而且整个日志文件一直在刷，从错误的字面意思看就是，啥结点，只让读了。开始怀疑是不是es出了问题。但是对于es又不是太熟，就网上巴拉巴拉搜了一下，大家给出的意见都差不多，就是es所占磁盘容量达到阈值了，就会启动自我保护机制。禁止所有索引数据的写入，就只让读了，就会出这个问题。问
关于hdfs突然上传和下载不了文件的解决方法1、问题描述2、解决方案1、问题描述在浏览器上可以正常访问HDFS集群http://node1:9870的WebUI页面,成功进入以下界面同时可以查看hdfs的目录和文件但无法上传和下载文件，出现以下报错：Couldn’tuploadthefile.2、解决方案1、刚开始是可以对文件及文件夹进行增删改操作的，现在突然操作不了的，请检查下本地电脑的hosts文件，是否已经成功添加虚拟机ip地址的映射及主节点、从节点的ip地址。，注意映射是否被注释掉，如是把注释去掉即可2、请检查是电脑端是否开启VPN，开启的话将其关闭即可。整了很久发现是因为开始VPN导
HDFS错误整改编写“远程客户端操作hdfs创建文件夹”代码，验证环境是否配置成功！1、错误点1：改正方法：第一步：点击 文件>项目文件>模块第二步：会发现红色框里的显示的是15，这里我们需要改成8，如下图：2、错误点2：改正方法：第一步：点击 文件>项目文件>设置，后按照图中步骤点击：第二步：将目标字节码版本同样换成8，如下图：第三步：这个问题解决了3、错误点3：这里出现了uri爆红了，因该是可能是导包的时候出错的？如果你是第一次将以上代码写入环境，会出现很多包显示红色，说明包没有被安装，需要点击maven，点击刷新键，自动检测安装！改正方法：第一步：点击侧面的Maven，后点击旋转按钮，后
（一）写入文件在net.hw.hdfs包中创建writeFileOnHDFS类1、将数据直接写入HDFS文件 【在/ied01目录中创建hello.txt文件，创建write1()方法】 注：packagenet.hw.hdfs;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.junit.Test;impo
（一）写入文件在net.hw.hdfs包中创建writeFileOnHDFS类1、将数据直接写入HDFS文件 【在/ied01目录中创建hello.txt文件，创建write1()方法】 注：packagenet.hw.hdfs;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.junit.Test;impo
在HDFS的早期版本中，出于种种考虑，没有支持文件的追加写。但从1.0.4版本开始，支持了文件追加写。配置文件中也有是否开启该功能的选项：dfs.support.appendtrue而对于公有云上常见的对象存储，比如S3和OSS，是否支持追加写呢？OSS的一般文件不支持append。不过可以创建追加写类型文件，就能够支持append。调用AppendObject接口会创建一个追加类型文件，后续就可以对该文件进行追加写操作。但这种模式似乎很少使用。S3同样是不支持append的。在对象存储服务上想对文件追加内容，一般都需要下载后追加然后再上传覆盖原来的文件。以下论述摘自hudi官网：Hudiin
