大数据梦工厂（0003-NameNode工作机制解析）1-基本描述NameNode是HDFS的核心服务，它管理和维护着整个HDFS分布式文件系统，主要有以下作用：负责接收客户端的操作请求；负责管理文件系统命名空间（NameSpace）、集群配置信息及存储块的复制等；负责文件目录树的维护以及文件对应Block列表的维护；负责管理Block与DataNode之间的关系。NameNode中包含FsImage和Edits两个文件。存储在NameNode节点的本地磁盘上，也就是NameNode的元数据信息。FsImage：命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。Edits
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解block-pool是一个重新将block划分的逻辑概念，同一个DataNode中可以存储属于多个block-pool的多个block。所以在NameNode和DataNode通信相关的代码方面，也做了很大的改动以支持上述特性。
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解block-pool是一个重新将block划分的逻辑概念，同一个DataNode中可以存储属于多个block-pool的多个block。所以在NameNode和DataNode通信相关的代码方面，也做了很大的改动以支持上述特性。
周末处理的一次故障，这里简单记录下。故障现象：6点1 分左右开始， Hadoop集群异常，所有的hdfs操作都出现问题。几十个 job报以下错FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby或者： FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(
周末处理的一次故障，这里简单记录下。故障现象：6点1 分左右开始， Hadoop集群异常，所有的hdfs操作都出现问题。几十个 job报以下错FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby或者： FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(
Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加exportJAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen–trsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pub(公钥)cat id_rsa.pub > .ssh/authorized_keysscpauthorized_keysuser@ipaddress:/home/user/id_rsa.pub修改authorzed文件的权限为
Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加exportJAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen–trsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pub(公钥)cat id_rsa.pub > .ssh/authorized_keysscpauthorized_keysuser@ipaddress:/home/user/id_rsa.pub修改authorzed文件的权限为
