我用三台机器设置了一个Hadoop2.4.0集群。一台master机器部署了namenode、resourcemanager、datanode和nodemanager。另外两台worker机器部署了datanode和nodemanager。当我运行Hive查询时，工作失败，错误是2014-06-1113:40:13,364WARN[main]org.apache.hadoop.mapred.YarnChild:Exceptionrunningchild:java.net.ConnectException:CallFrommaster/127.0.0.1tomaster:43607fai

我们已经设置了一个有6个从节点的集群。我试图了解当其中一个DataNode死亡时复制是如何发生的。我登录到其中一个从站并使用kill-9命令杀死了DataNode。一段时间后，DataNode自动重启，HDFS恢复健康状态。我正在验证这一点，因为DataNode的PID已更改。我没有看到任何关于DataNode上述行为的文档。这是ApacheHadoop或ClouderaCDH功能吗？任何对文档的引用都将受到赞赏。 最佳答案 由于datanode的pid发生了变化，我认为不是datanode的行为。如果您使用ClouderaMana

我正在使用具有9个节点的Hadoop集群。我想知道Hadoop集群中datanode的基本配置是什么。我在Namenode和Datanode上使用以下配置。RAM=4GBCores=4Disk=8(Total16GBstoragespace)运行样本排序和字数统计作业以检查hadoop网络性能。我选择的配置是否正确？感谢和问候，阿卜杜勒·纳瓦兹 最佳答案 理论上，您可以使用任何您想要的配置，只要配置正确(以便Hadoop了解服务器功能等)。在实践中，您应该为每台服务器配备至少4GB的RAM(根据我的经验)。内核数量会影响性能，您应该

如果在我的hadoop集群中blockreplication是3，每个DataNode有3个${dfs.data.dir}目录。当DataNode选择存储block时，block是存储在所有3个目录还是其中一个？如果是后者，如何选择${dfs.data.dir}目录？ 最佳答案 当block到达数据节点时，以循环方式选择正确的目录。您可以通过将dfs.datanode.fsdataset.volume.choosing.policy更改为org.apache.hadoop.hdfs.server.datanode.fsdataset

因为我在伪分布式模式下使用ClouderaCDH4VM。我的问题是，在实际的hdfs集群中，我们要在数据节点上安装hadoop吗？我们可以通过登录datanode看到datanode驱动中的数据拆分吗？ 最佳答案 是的，在实际安装中(1个事件名称节点，许多数据节点)必须在每个节点上安装hadoop。CDH(和大多数其他供应商)提供软件来帮助进行分布式安装。您可以通过webhdfs查看文件元数据(通常浏览hdfs)，方法是启用webhdfs(在hdfs-site.xml中将属性dfs.webhdfs.enabled设置为true，并重

Hadoop/Datanode目录下当前和以前的目录有什么意义？hadoop如何使用它们？我在本地文件系统的所有磁盘上的路径/hadoop/datanode下有一个/current目录。它包含以下内容:subdirXblk_X.metablk_XSubdirX文件夹包含子目录和子目录以及许多block及其元文件。它们的意义是什么以及它们是如何存储的？hdfs如何决定创建这些子目录？关于这些的任何文档都会有很大帮助。 最佳答案 这就是您要找的http://hortonworks.com/blog/hdfs-metadata-direc

我正在尝试在一个由5台机器组成的(测试)集群上安装Hadoop1.2.1，其中一个节点用作JobTracker、NameNode和SecondaryNameNode。其余4台机器都是从机。有两个问题。1)在master的conf/masters和conf/slaves文件中，我分别提供了master和slaves的IP地址。在从机上，masters文件是空的，slaves文件包含自己的IP。当启动hadoop(bin/start-all.sh)时，TaskTracker和DataNode不启动。我将这些机器的主机名放入/etc/hosts文件中，并尝试将它们的主机名也放入masters

我正在研究hadoophdfs2.7.1。我已经设置了一个具有一个数据节点的单节点集群。但是现在我需要在同一台机器上设置三个数据节点。我尝试使用互联网上提供的各种方法，但无法在同一台机器上启动具有三个数据节点的hadoop集群。请帮助我。 最佳答案 您可以使用Docker容器在单台机器上运行多节点集群。最近被Hortonworks收购的公司SequenceIQ的员工甚至准备了可以下载的Docker镜像。看这里:http://blog.sequenceiq.com/blog/2014/06/19/multinode-hadoop-cl

请告诉我数据节点中文件的命名方式/或依据是什么？我对一个大于64MB的文件进行了copyFromLocal，发现它创建了两组文件。一个元文件和一部分实际文件。datanode中的文件是如何命名的？hadoop架构用什么算法来命名这个文件？blk_-861882337543881015_1251.metablk_-861882337543881015blk_-1127355763020627217_1252.metablk_-1127355763020627217 最佳答案 通常有两种类型的文件被写入数据节点。其中一个将包含文件名为b

我一直在使用RaspberryPis开发Hadoop集群，只是出于学习目的。我已经成功配置了所有的奴隶和主人(据我所知)。问题:HDFS无法复制本地文件。并根据http://Master:8088我有3个事件节点。(我在最后附上了截图)但是当我尝试将本地文件复制到HDFS时，出现以下异常:16/01/1206:20:43WARNhdfs.DFSClient:DataStreamerExceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException):File/LICENCE.txt._COPYING_couldonlyb