草庐IT

namenode1

全部标签

namenode gc导致的故障一例

周末处理的一次故障,这里简单记录下。故障现象:6点1 分左右开始, Hadoop集群异常,所有的hdfs操作都出现问题。几十个 job报以下错FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby或者: FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(

hadoop+zookepper实现namenode的高可用

Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加exportJAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen–trsa在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pub(公钥)cat id_rsa.pub > .ssh/authorized_keysscpauthorized_keysuser@ipaddress:/home/user/id_rsa.pub修改authorzed文件的权限为

hadoop+zookepper实现namenode的高可用

Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加exportJAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen–trsa在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pub(公钥)cat id_rsa.pub > .ssh/authorized_keysscpauthorized_keysuser@ipaddress:/home/user/id_rsa.pub修改authorzed文件的权限为