我是Hadoop新手。在hadoop中，我知道当一个NameNode失败时，整个Hadoop框架都会崩溃。所以它是Hadoop中的单点故障。JobTracker也一样吗？因为如果JobTracker宕机，在提交作业后将没有守护进程联系Namenode，也没有运行TaskTracker的意义。这究竟是如何处理的？ 最佳答案 是的，JobTracker是MRv1中的单点故障。在JobTracker失败的情况下，所有正在运行的作业都将停止(http://wiki.apache.org/hadoop/JobTracker)。在YARN中，资
NamenodeHA(NFS、QJM)在hadoop2.x(HDFS-1623)中可用。它为Namenode提供快速故障转移，但我找不到任何关于多长时间从故障中恢复的描述。谁能告诉我？谢谢你的回答。事实上，我想知道两个节点(activenamenode和standbynamenode)转换之间的时间。你能告诉我多长时间吗？ 最佳答案 以下是一些使用备用NameNode进行故障转移的合格示例:A60nodeclusterwith6millionblocksusing300TBrawstorage,and100Kfiles:30seco
完整的错误陈述:Nocommand'hdfs'found,didyoumean:Command'hfs'frompackage'hfsutils-tcltk'(universe)Command'hdfls'frompackage'hdf4-tools'(universe)hdfs:commandnotfound 最佳答案 您的HDFS安装可能有问题，请尝试在命令中提供hdfs的完整路径。/path/to/dir/hdfsnamenode-format路径取决于您的操作系统和您使用的hadoop发行版等。使用locate或find。如
我尝试使用bin/start-all.sh启动名称节点。但是，这个命令不会启动名称节点。我知道如果我执行bin/hadoopnamenode-format，namenode将启动，但在那种情况下，我将丢失所有数据。有没有办法在不格式化的情况下启动namenode？ 最佳答案 您的问题可能与以下问题有关:Hadoop默认将其NameNode数据写入/tmp/hadoop-文件夹，每次重启后都会清除该文件夹。将以下属性添加到conf/hdfs-site.xmldfs.name.dir“dfs.name.dir”属性允许您控制Hadoop
我正在使用HadoopMapReduce范例，我需要获取NameNodeIP来自DataNode的地址，任何人都可以告诉我如何做到这一点吗？谢谢。 最佳答案 最简单的方法是快速打开HADOOP_HOME/conf目录下的core-site.xml文件。fs.default.name属性的值将告诉您运行NN的主机和端口。 关于HadoopNameNodeIP地址，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.
我正在尝试启动名称节点，但它一直显示:启动名称节点失败。java.net.BindException:地址已在使用中；。netstat-a|grep9000返回tcp00:9000*:LISTENtcp600[::]:9000[::]:*LISTEN这是正常的还是我需要终止其中一个进程？名称节点在安装后启动并运行，但在我运行WordCount作业后突然停止工作。我试过多次重启VM并格式化名称节点，但这没有帮助。hdfs-site.xml如下:dfs.replication1dfs.namenode.name.dir文件:///usr/local/hdfs/namenodedfs.dat
我刚刚安装了Hadoop2.6.0，在格式化名称节点时，它在以下行停止并且没有退出代码返回。STARTUP_MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git-re3496499ecb8d220fba99dc5ed4c99c8f9e33bb1;compiledby'jenkins'on2014-11-13T21:10ZSTARTUP_MSG:java=1.7.0_79/15/08/2818:45:22INFOnamenode.NameNode:registeredUNIXsignalhandlersfor[TERM,
最近我正在使用S3在ObjectStore上设置我的Hadoop集群，所有数据文件都存储在S3而不是HDFS中，并且我在S3上成功运行了spark和MP，所以我想知道我的名称节点是否仍然需要，如果是的话，当我在S3上运行hadoop应用程序时，我的名称节点会做什么？谢谢。 最佳答案 不，只要您有办法处理S3缺乏交付工作提交者所需的一致性这一事实。每隔一段时间，如果S3的列表不够一致，您的结果将是无效的并且您甚至不会注意到。不同的SparkonAWS供应商以他们自己的方式解决这个问题。如果您使用的是ASFspark，则没有任何捆绑软件
关闭集群./stop-all.sh后，调用hadoopnamenode-format，我看到数据节点具有相同的磁盘空间，即空间尚未释放。这是为什么？ 最佳答案 格式化NameNode前可以手动删除DataNode上的数据rmrUsage:hadoopfs-rmrURI[URI…]删除的递归版本。示例:hadoopfs-rmr/user/hadoop/dirhadoopfs-rmrhdfs://nn.example.com/user/hadoop/dir退出代码:成功返回0，错误返回-1。或者只要名称节点被格式化，数据节点就应该被重新
全部。我用的是hadoop2.6.0。当我强制hadoop离开安全模式时，使用hdfsdfsadmin-safemodeleave，它显示SafemodeisOFF，但我仍然无法删除文件在目录中，结果显示:rm:无法删除/mei/app-20151013055617-0001-614d554c-cc04-4800-9be8-7d9b3fd3fcef。名称节点处于安全模式。我尝试用网上列出的方式解决这个问题，但没有用...我使用命令“hdfsdfsadmin-report”，它显示:SafemodeisONConfiguredCapacity:52710469632(49.09GB)Pr
