问题：在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效，生产环境中datanode节点大多都有多块磁盘，我们现在需要一种方法，让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景：1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，将故障盘的挂载点删除并重启(推荐在手动部署的hadoop环境中，将此方法做成脚本使用)3、卸载故障盘，临时将数据写入根目录的挂载点，不修改配置文件(笔者的环境，使用hortonworks部署的hadoop，配置文件由ambari管理，手动修改后一旦使用amb
问题：在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效，生产环境中datanode节点大多都有多块磁盘，我们现在需要一种方法，让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景：1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，将故障盘的挂载点删除并重启(推荐在手动部署的hadoop环境中，将此方法做成脚本使用)3、卸载故障盘，临时将数据写入根目录的挂载点，不修改配置文件(笔者的环境，使用hortonworks部署的hadoop，配置文件由ambari管理，手动修改后一旦使用amb
大数据梦工厂（0004-DataNode工作机制解析）1-基本描述DataNode通常是群集中每个节点部署一个，用于存储数据，负责提供客户端的读写请求，并且根据NameNode的指令执行数据块的创建、删除、追加和复制等操作。DataNode三大功能：负责管理所在节点上存储数据的读写，及存储每个文件的数据块。定期向NameNode报告该节点的数据块元数据信息。执行数据的流水线复制。2-工作机制DataNode上的数据块以文件形式存储在本地磁盘上，包括两个文件：文件的数据块；数据块元数据（长度、校验和、时间戳）。DataNode启动后向NameNode服务注册，通过心跳机制：每3秒向NameNod
大数据梦工厂（0004-DataNode工作机制解析）1-基本描述DataNode通常是群集中每个节点部署一个，用于存储数据，负责提供客户端的读写请求，并且根据NameNode的指令执行数据块的创建、删除、追加和复制等操作。DataNode三大功能：负责管理所在节点上存储数据的读写，及存储每个文件的数据块。定期向NameNode报告该节点的数据块元数据信息。执行数据的流水线复制。2-工作机制DataNode上的数据块以文件形式存储在本地磁盘上，包括两个文件：文件的数据块；数据块元数据（长度、校验和、时间戳）。DataNode启动后向NameNode服务注册，通过心跳机制：每3秒向NameNod
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1) 首先说下org.apache.hadoop.hdfs.server.datanode.fsdataset下的主要接口，FsDatasetSpi接口的方法比较多，主要分三类。第一类主要是和数据块相关的，如创建rbw状态和temporary状态的block，追加block,恢复block，提交block，缓存block，打开block的输出流等。第二
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1) 首先说下org.apache.hadoop.hdfs.server.datanode.fsdataset下的主要接口，FsDatasetSpi接口的方法比较多，主要分三类。第一类主要是和数据块相关的，如创建rbw状态和temporary状态的block，追加block,恢复block，提交block，缓存block，打开block的输出流等。第二
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解block-pool是一个重新将block划分的逻辑概念，同一个DataNode中可以存储属于多个block-pool的多个block。所以在NameNode和DataNode通信相关的代码方面，也做了很大的改动以支持上述特性。
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解block-pool是一个重新将block划分的逻辑概念，同一个DataNode中可以存储属于多个block-pool的多个block。所以在NameNode和DataNode通信相关的代码方面，也做了很大的改动以支持上述特性。
