HDFS有什么特点，被设计做什么            Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。有一下几个特点：        HDFS是一个高度容错性的系统，具有高容错、高可靠性、高扩展性的特点，适合部署在廉价的机器上。        HDFS能提供对应用程序数据的高吞吐量访问，非常适合大规模数据集上的应用。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件

问题1：Couldn’tcreateproxyproviderclassorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProhadoop处于ha高可用模式了需要将高可用环境下的hdfs-site.xml文件复制到idea的resource下，特别是其中的dfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider问题2：Classorg.apache

1.分析原因：可能出错的原因及解决方法：多次初始化这个问题一般是由于两次或两次以上的格式化NameNode（hadoopnamenode-format）造成的，2.想要重新格式化，删掉hadoop-2.10.1目录下的tmp文件夹:执行命令：rm-rftmp （注意在执行格式化命令时一定要关闭hadoop集群后操作）3.执行完成后便可以看到namenode节点

现象：解决：1.看Hadoop的日志：查看namenode日志：tail-n200hadoop-xinjie-namenode-VM-0-9-centos.log（文件目录所在位置：hadoop安装位置logs文件） 2.发现是端口占用3.命令查看端口占用情况：netstat-anp|grep9866 4.杀死进程：kill-998665.把所有占用的端口全部杀完之后重启集群，问题解决   

前景回顾：上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点，而且无法访问对应网站，该篇中将解决上篇的问题针对前篇没有namenode节点解决方案：先关闭hadoop：sbin/./stop-all.sh删除文件夹（hadoop2.7.3/下）的tmp/文件夹里边所有的东西删除日志：删除logs文件夹下所有的东西：rm-rflogs/mkdirlogs重新格式化：bin/hadoopnamenode-format格式化完成启动hadoop：启动成功：访问：http://localhost:50070至此hadoop安装完毕。

namenode解析：维护整个文件系统目录结构树，文件、目录的各种信息（相当于ls-l），还有文件（对应的数据块列表）存放在hdfs各个节点的信息；接受客户端（用户）的访问（操作）请求；Namenode（存储的信息主要存储在以下4个文件）主要有以下4个文件控制它的配置【错误，记忆的偏差点】：fsimage,edits,seed_txid,version...（上述文件所在路径有一个参数（dfs.namenode.name.dir）去控制：）配置文件：hdfs-default.xml-配置namenode的各种属性是hdfs-site.xml的派生（会覆盖hdfs-default.xml），当没

在Hadoop中，使用jps命令可以列出当前运行的Java进程，包括Hadoop的各个组件。如果jps命令没有显示namenode，那可能是以下几个原因之一：namenode进程没有启动。在运行Hadoop集群之前，需要确保启动了namenode进程，否则jps命令不会显示该进程。可以使用start-dfs.sh命令来启动Hadoop集群。namenode进程已经停止或崩溃。如果namenode进程由于某些原因停止或崩溃了，那么jps命令将不会显示该进程。可以检查namenode的日志文件，查看是否有任何错误或异常信息。

简而言之就是先关闭集群再删除hadoop中所有数据然后再初始化namenode（初始化前先启动zookeeper和journalnode）在启动hadoop个人笔记：启动zookeeper的shell（通过主机登录其他节点机逐个启动zookeeper）注：这几个shell是为了方便自己使用hadoop写的。如果是为了解决问题那就是删除数据在初始化namenode，再start-all.sh就可以了#!/bin/bashpath=$(pwd)cd/usr/zookeeper/binshzkServer.shstartssh-Tqroot@slave1eeooffcd/usr/zookeeper/

namenode的主要责任是文件元信息与数据块映射的管理。相应的，namenode的启动流程需要关注与客户端、datanode通信的工作线程，文件元信息的管理机制，数据块的管理机制等。其中，RpcServer主要负责与客户端、datanode通信，FSDirectory主要负责管理文件元信息。流程如下：1.执行命令启动hdfs集群start-dfs.sh该命令会启动Hdfs的NameNode以及DataNode，启动NameNode主要是通过org.apache.hadoop.hdfs.server.namenode.NameNode类。2.NameNode启动主流程publicclassNa

关于Hadoop集群HDFS启动问题：NameNode启动正常，DataNode启动报错ERROR:Cannotsetpriorityofnamenodeprocess19826出了问题第一步一定要先看日志！看日志！看日志！DataNode日志文件在Hadoop目录下的logs文件夹[root@hadoopb~]$cat$HADOOP_HOME/logs/hadoop-root-datanode-hadoopb.log以下列举两种问题的解决方法：1.最常见的就是对NameNode进行了多次格式化操作，格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不