我在Miscrosoftazure上安装了Cloudera集群。我每个周末都按照以下步骤关闭集群:1)ClouderaManager的ClouderaManagementService转2)停止ClouderaManager的所有服务3)转到名称节点并运行命令:servicecloudera-scm-serverstop4)关闭集群上的虚拟机。当我尝试启动这个集群时，我遵循以下步骤:1)启动集群上的虚拟机2)服务“cloudera-scm-server”在启动时已经启动。3)从CM开启Cloudera管理服务4)开启所有服务。这是它失败的地方，并向我提供了它无法启动名称节点的错误，因为
我已经在hadoop集群上放置了100个文件。我想确定与这些文件对应的NameNode维护的元数据的大小。 最佳答案 我相信你说的metadata是datanode中存储的数据block的信息。所有这些细节都将保存在名称节点内存RAM中。Namenode消耗大约150字节用于block元数据存储和150字节用于文件元数据存储。因此，让我们假设您的集群block大小为128Mb，并且您的100个文件中的每个文件的大小都在100Mb左右。然后每个文件在namenode中消耗300字节的内存。名称节点将消耗300*100=30000字节的
我是Hadoop编程的新手，我已经通过在三节点集群上设置Hadoop2.7.1开始学习。我试过在Hadoop中运行开箱即用的helloworldjar，它运行良好并成功，但我在本地机器上编写了自己的驱动程序代码并将其捆绑到一个jar中并以这种方式执行但它失败了，没有错误消息。这是我的代码，这就是我所做的。WordCountMapper.javapackagemot.com.bin.test;importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWri
最后编辑我通过将许多不同的答案混合在一起来修复它。首先，我更改了以下权利:/usr/local/hadoop_store/hdfs/namenode/usr/local/hadoop_store/hdfs/datanode到777。然后我运行stop-all.sh并重新启动hadoop。这个问题应该关闭吗？我知道这以前用过，但提问者似乎使用的是更旧的版本。另外，没有一个答案对我有帮助。我在Ubuntu15.10上安装了hadoop2.7.0并完全按照以下教程操作:https://www.digitalocean.com/community/tutorials/how-to-instal
我们最近决定在多个集群(具体版本各不相同)上为HadoopNameNode启用GC日志记录，以帮助调查与NameNode相关的内存和垃圾收集问题。我们希望集群中的所有NameNode(事件和备用或主要和次要)都这样做。我们还想避免两个我们知道可能会发生的问题:当NameNode因任何原因重启时覆盖日志文件日志使用过多的磁盘空间，导致磁盘被填满当为进程启动JavaGC日志记录时，它似乎会替换任何具有相同名称的文件的内容。这意味着除非您小心，否则您将丢失GC日志记录，也许在您更有可能需要它的时候。如果您让集群运行足够长的时间，日志文件将填满磁盘，除非进行管理。即使GC日志记录目前不是很多，
当通过执行命令“bin/hadoopnamenode-format”格式化namenode时，我得到这个错误:hduser@ubuntu:~/hadoop/bin$./hadoopnamenode-format弃用:不推荐使用此脚本执行hdfs命令。而是使用hdfs命令。错误:无法找到或加载主类org.apache.hadoop.hdfs.server.namenode.NameNode 最佳答案 尝试删除所有hadoop临时数据rm-Rf/app/hadoop/tmp/*然后再尝试格式化
我在启动时在远程服务器上安装hadoophdfs名称节点格式出现错误java.net.UnknownHostException:Web:Web:unknownerror我已经配置了所有需要的文件16/10/1414:28:38INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=java.net.UnknownHostException:Web:Web:unkno
假设在Hadoop集群中我们有2个机架rck1和rck2。每个机架有5个节点。Namenode如何知道节点1属于机架1，节点3属于机架2。 最佳答案 您必须配置系统以指定机架信息的确定方式。例如，thisClouderalink告诉您如何在ClouderaManager中为主机配置机架。或者，thisApachelink解释了如何通过配置文件在java类的外部脚本中指定此信息。拓扑通常采用/myrack/myhost形式，但您可以使用更深的层次结构。他们在python中有以下示例，它假设每个机架有一个/24子网，因此提取IP地址的前
我在HA集群中使用hadoopapache2.7.1。我需要更新两个名称节点的堆内存，所以我更新了hadoop-env.sh中的属性HADOOP_NAMENODE_OPTS为8gbexportHADOOP_NAMENODE_OPTS="-Xmx8192m$HADOOP_NAMENODE_OPTS"所以我的名称节点中的堆大小现在是8GB但是我在hadoop-env.sh中实现了参数HADOOP_HEAPSIZE我没有给它任何值(value)将HADOOP_NAMENODE_OPTS设置为8GB是否足够，还是我们也应该将HADOOP_HEAPSIZE设置为8GB？我的意思是HADOOP_N
我是hadoop新手，我尝试在我的vm中安装hadoop3.0，在我配置hadoop之后，然后尝试:hdfsnamenode‐format得到输出:2017-12-2600:20:56,255INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=localhost/127.0.0.1STARTUP_MSG:args=[‐format]STARTUP_MSG:ver
