HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案,该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念,block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block,可以理解block-pool是一个重新将block划分的逻辑概念,同一个DataNode中可以存储属于多个block-pool的多个block。所以在NameNode和DataNode通信相关的代码方面,也做了很大的改动以支持上述特性。
问题:在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效,生产环境中datanode节点大多都有多块磁盘,我们现在需要一种方法,让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景:1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值,将故障盘的挂载点删除并重启(推荐在手动部署的hadoop环境中,将此方法做成脚本使用)3、卸载故障盘,临时将数据写入根目录的挂载点,不修改配置文件(笔者的环境,使用hortonworks部署的hadoop,配置文件由ambari管理,手动修改后一旦使用amb
问题:在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效,生产环境中datanode节点大多都有多块磁盘,我们现在需要一种方法,让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景:1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值,将故障盘的挂载点删除并重启(推荐在手动部署的hadoop环境中,将此方法做成脚本使用)3、卸载故障盘,临时将数据写入根目录的挂载点,不修改配置文件(笔者的环境,使用hortonworks部署的hadoop,配置文件由ambari管理,手动修改后一旦使用amb
大数据梦工厂(0004-DataNode工作机制解析)1-基本描述DataNode通常是群集中每个节点部署一个,用于存储数据,负责提供客户端的读写请求,并且根据NameNode的指令执行数据块的创建、删除、追加和复制等操作。DataNode三大功能:负责管理所在节点上存储数据的读写,及存储每个文件的数据块。定期向NameNode报告该节点的数据块元数据信息。执行数据的流水线复制。2-工作机制DataNode上的数据块以文件形式存储在本地磁盘上,包括两个文件:文件的数据块;数据块元数据(长度、校验和、时间戳)。DataNode启动后向NameNode服务注册,通过心跳机制:每3秒向NameNod