背景最近发现集群主节点总有进程宕机，定位了大半天才找到原因，分享一下排查过程查询hiveserver2和namenode日志，都是正常的，突然日志就不记录了，直到我重启之后又恢复工作了。排查各种日志都是正常的，直到查看Grafana，发现内存满了在这个节点下已无内存资源可用，在服务宕掉的节点内存使用突然下降，猜测是linux内核的杰作，故查询系统日志grep"Outofmemory"/var/log/messages果然存在因OOM被杀掉的进程进程被杀的原因Linux内核有个机制叫OOMkiller，全称为OutOfMemorykiller，很形象的一个名字——内存溢出杀手，这个机制会监控那些
HDFS的常用命令1.操作命令1.1创建文件夹1.2列出指定的文件和目录1.3新建文件1.4上传文件1.5将本地文件移动到HDFS1.6下载文件1.7查看文件1.8追写文件1.9删除目录或者文件1.10显示占用的磁盘空间大小1.11HDFS中的文件复制1.12HDFS中的文件移动2.管理命令2.1报告文件系统的基本信息和统计信息2.2查看拓扑3.其他命令1.操作命令操作命令是以hdfsdfs开头的命令。通过这些命令，用户可以完成HDFS文件的复制、删除和查找等操作，Shell命令的一般格式如下。hdfsdfs[通用选项]其中，hdfs是Hadoop系统在Linux系统中的主命令；dfs是子命令
简介记录Flume采集kafka数据到Hdfs。配置文件#vimjob/kafka_to_hdfs_db.confa1.sources=r1a1.channels=c1a1.sinks=k1a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource#每一批有5000条的时候写入channela1.sources.r1.batchSize=5000#2秒钟写入channel（也就是如果没有达到5000条那么时间过了2秒拉去一次）a1.sources.r1.batchDurationMillis=2000a1.sources.r1.ka
文章目录（59）NN和2NN的工作机制（60）FsImage镜像文件（61）Edits编辑日志（62）Checkpoint时间设置参考文献（59）NN和2NN的工作机制NameNode的数据是存储在磁盘中，还是在内存中？内存：计算快，但可靠差，节点崩了就全丢了；磁盘：可靠性高，但是计算慢（因为需要频繁的IO交互）；内存+磁盘：内存计算完后就持久化到磁盘，可靠性提高了，计算也相对较快了，但其实相比全内存，还是会慢一些（毕竟还是有频繁IO交互）；目前NN的机制是，内存中维护一套数据，然后磁盘上维护两个文件，fsImage负责存储数据的值，Edits负责记录对数据的操作记录，且fsImage+Edi
🦄个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客🎐✨🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁感谢点赞和关注，每天进步一点点！加油！目录一、简介1.1Ambari介绍1.2关于本手册二、综合运维2.1Ambari一览2.1.1命令行操作2.1.2登入和登出2.1.3.管理界面首页三、服务的管理和运维3.1HDFS运维3.1启动/停止/删除HDFS服务3.1.1HDFS服务的配置3.1.2HDFS服务监控一、简介1.1Ambari介绍ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，
hadoop的配置文件存放目录在{HADOOP_HOME}/etc/hadoop下，与hdfs相关的配置： core-site.xml、hdfs-site.xml core-site.xml： core-site配置详解新增属性信息： fs.defaultFSfs.defaultFS表示指定集群的文件系统类型是分布式文件系统（HDFS），datanode心跳发送到nameNode的地址fs.defaultFShdfs://#{nameNode}:#{PORT}hdfs-site.xml：hdfs-site配置详解dfs.replication副本数，表示副本数是3dfs.name.dir和df
使用JavaAPI操作HDFS，是在安装和配置Maven、IDEA中配置Maven成功情况下进行的，如果Maven安装和配置不完全将不能进行JavaAPI操作HDFS。 由于Hadoop是使用Java语言编写的，因此可以使用JavaAPI操作Hadoop文件系统。使用HDFS提供的JavaAPI构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。 可以使用单元测试法操作HDFS。这里不使用单元测试法。一、创建HDFS_CRUD.java文件二、初始化客户端对象 通过main()方法调用进行HDFS增、删、改、查publicclassHDFS
DFSZKFailoverController机制概览组件原理启动日志看出端倪zkfc的日志namenode的日志ZKFailoverControllerHealthMonitorActiveStandbyElector概览当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前ActiveNameNode的一些信息，比如主机名等等。当ActiveNameNode出现失败或连接超时的情况下，监控程序会将ZK上对应的临时znode进行删除，znode的删除事件会主动触发到下一次的ActiveNamNode的选择。因为ZK是具有高度一
hadoopfs-helprm查看rm命令作用hadoopfs查看命令1.创建文件夹：#hdfs前缀也是可以的。更推荐hadoophadoopfs-mkdir/sanguo2.上传至hdfs命令： 作用：从本地上传hdfs系统（本地文件被剪切走，不存在了） 命令：#新建文件vishuguo.txt#进入后输入一些文字，保存退出即可#同shuguo.txt要在同目录下，输入命令hadoopfs-moveFromLocalshuguo.txt/sanguo 3.拷贝文件上传到hdfs系统：#新增文件viweiguo.txt#输入一些文字，保存并退出#从本地复制一份文件，至hdfs文件系统had
阿里云KuafaRPC系统夸父(Kuafu)是飞天平台内核中负责网络通信的模块，它提供了一个RPC的接口,简化编写基于网络的分布式应用夸父的设计目标是提供高可用(7×24小时)、大吞吐量(Gigabyte)、高效率、易用(简明API、多种协议和编程接口)的RPC服务HadoopIPC的应用在Hadoop系统中,HadoopIPC为HDFS、MapReduce提供了高效的RPC通信机制HadoopIPC的Server端相对比较复杂,包括Listener、Reader、Handler和Responder等多种类型的线程一、分布式协同系统当前的大规模分布式系统涉及大量的机器,这些机器之间需要进行大量
