摘要：HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。本文分享自华为云社区《​​HDFS为何在大数据领域经久不衰？​​》，作者：JavaEdge。1、概述1.1简介Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文，发表于2003年，HDFS是GFS的克隆版大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的数据。所以大数据技术越发展，新技术越多，HDFS得

心跳机制  作用：告诉主节点自己的存活状态，10分钟30s后被判定为死亡状态。hadoopdfsadmin-report   命令查看集群状态，需要一段时间才能看到datanode的正确状态，目前集群需要十分钟左右才判断出datanode的dead状态；  datanode每隔3秒向namenode发送一次心跳报告，告诉其自己的存活状态默认情况下心跳间隔的参数由hdfs-default.xml中的下面参数决定:dfs.heartbeat.interval3Determinesdatanodeheartbeatintervalinseconds.  datanode每隔3秒向namenode发送

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览本文是《docker下，极速搭建spark集群(含hdfs集群)》的续篇，前文将spark集群搭建成功并进行了简单的验证，但是存在以下几个小问题：spark只有一个work节点，只适合处理小数据量的任务，遇到大量数据的任务要消耗更多时间；hdfs的文件目录和docker安装目录在一起，如果要保存大量文件，很可能由于磁盘空间不足导致上传失败；master的4040和work的8080端口都没有开放，看不到job、stage、executor的运行情

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览本文是《docker下，极速搭建spark集群(含hdfs集群)》的续篇，前文将spark集群搭建成功并进行了简单的验证，但是存在以下几个小问题：spark只有一个work节点，只适合处理小数据量的任务，遇到大量数据的任务要消耗更多时间；hdfs的文件目录和docker安装目录在一起，如果要保存大量文件，很可能由于磁盘空间不足导致上传失败；master的4040和work的8080端口都没有开放，看不到job、stage、executor的运行情