我正在尝试使用cygwin在我的Windows机器上配置Hadoop2.5.1。但是每当我尝试运行命令时hdfsnamenode-format出现如下错误Error:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.namenode.NameNode我已将JAVA_HOME设置为H:\cygwin\usr\local\Java在bashrc和hadoop-env.sh中。任何人都可以帮助我，因为我可能会在哪一部分出错？？？ 最佳答案 嘿，我有同样的问题，但是我解决了我遇
如果在我的hadoop集群中blockreplication是3，每个DataNode有3个${dfs.data.dir}目录。当DataNode选择存储block时，block是存储在所有3个目录还是其中一个？如果是后者，如何选择${dfs.data.dir}目录？ 最佳答案 当block到达数据节点时，以循环方式选择正确的目录。您可以通过将dfs.datanode.fsdataset.volume.choosing.policy更改为org.apache.hadoop.hdfs.server.datanode.fsdataset
因为我在伪分布式模式下使用ClouderaCDH4VM。我的问题是，在实际的hdfs集群中，我们要在数据节点上安装hadoop吗？我们可以通过登录datanode看到datanode驱动中的数据拆分吗？ 最佳答案 是的，在实际安装中(1个事件名称节点，许多数据节点)必须在每个节点上安装hadoop。CDH(和大多数其他供应商)提供软件来帮助进行分布式安装。您可以通过webhdfs查看文件元数据(通常浏览hdfs)，方法是启用webhdfs(在hdfs-site.xml中将属性dfs.webhdfs.enabled设置为true，并重
对于Hadoop2.6.0中的伪分布模式，是否每次都要格式化namenode。我在家里使用的是hadoop2.6.0，但每次我使用start-dfs.sh和start-yarn.sh时，我都必须格式化我的名称节点。有没有其他方法可以避免这种情况？请给我一些建议来摆脱这个!! 最佳答案 不，即使在伪分布式模式下，您也不必总是格式化NameNode。不建议多次格式化NameNode，除非NameNode丢失元数据信息。原因可能是这样的:告诉NameNode在磁盘上存储其元数据信息的位置的属性是dfs.name.dir(已弃用)或dfs.
很像我运行命令sudoservicehadoop-hdfs-namenodestart时的状态，命令失败并显示以下消息。2015-02-0116:51:22,032INFOorg.apache.hadoop.hdfs.server.namenode.NameNode:registeredUNIXsignalhandlersfor[TERM,HUP,INT]2015-02-0116:51:22,379WARNorg.apache.hadoop.metrics2.impl.MetricsConfig:Cannotlocateconfiguration:triedhadoop-metrics
Hadoop/Datanode目录下当前和以前的目录有什么意义？hadoop如何使用它们？我在本地文件系统的所有磁盘上的路径/hadoop/datanode下有一个/current目录。它包含以下内容:subdirXblk_X.metablk_XSubdirX文件夹包含子目录和子目录以及许多block及其元文件。它们的意义是什么以及它们是如何存储的？hdfs如何决定创建这些子目录？关于这些的任何文档都会有很大帮助。 最佳答案 这就是您要找的http://hortonworks.com/blog/hdfs-metadata-direc
我正在尝试在一个由5台机器组成的(测试)集群上安装Hadoop1.2.1，其中一个节点用作JobTracker、NameNode和SecondaryNameNode。其余4台机器都是从机。有两个问题。1)在master的conf/masters和conf/slaves文件中，我分别提供了master和slaves的IP地址。在从机上，masters文件是空的，slaves文件包含自己的IP。当启动hadoop(bin/start-all.sh)时，TaskTracker和DataNode不启动。我将这些机器的主机名放入/etc/hosts文件中，并尝试将它们的主机名也放入masters
我正在尝试运行HDFS但namenode没有启动，我也尝试通过像这样的命令启动它sudo-l/usr/hdp/hadoop/sbin/hadoop-daemon.sh--config/usr/hdp/hadoop/confstartnamenode但是还没有开始。我看过hadoop日志并收到以下错误:错误2015-04-2810:36:04,752FATALnamenode.NameNode(NameNode.java:main(1509))-Failedtostartnamenode.java.io.FileNotFoundException:/hadoop/hdfs/namenod
当我们基于hadoopv2.4.1的standbynamenode故障重启时，发现namenode退出safemode后忙得无法及时响应。我们扔了好几堆，它们看起来都是这样的，Thread212(IPCServerhandler148on8020):State:WAITINGBlockedcount:66Waitedcount:598Waitingonjava.util.concurrent.locks.ReentrantLock$FairSync@60ea5634Stack:sun.misc.Unsafe.park(NativeMethod)java.util.concurrent.
我正在研究hadoophdfs2.7.1。我已经设置了一个具有一个数据节点的单节点集群。但是现在我需要在同一台机器上设置三个数据节点。我尝试使用互联网上提供的各种方法，但无法在同一台机器上启动具有三个数据节点的hadoop集群。请帮助我。 最佳答案 您可以使用Docker容器在单台机器上运行多节点集群。最近被Hortonworks收购的公司SequenceIQ的员工甚至准备了可以下载的Docker镜像。看这里:http://blog.sequenceiq.com/blog/2014/06/19/multinode-hadoop-cl
