在我的hadoop集群中，我们有一个namenode和一个secondaryNameNode。我正在我的oozie作业中执行一个步骤，该步骤必须具有“事件”名称节点。有什么东西可以让我从Oozie查询“事件”名称节点吗？请注意，这是一个相当大的集群，不能保证Oozie和HDFS位于同一位置。编辑:请注意，我的问题与Oozie配置无关。配置已经完成。我的问题是查询工作流中的事件名称节点。 最佳答案 如果您有主动-被动/HA配置-oozie应该使用命名空间而不是主动名称节点进行配置。 关于h
我在Ubuntu16.04上以单一模式安装了Hadoop2.7.2。但是在启动Hadoop之后，NameNode和DataNodeServices都没有运行。hduser@saber-Studio-1435:/usr/local/hadoop$start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh16/06/2015:34:56WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuil
我要更换HadoopCDH5.7集群中的多台机器。我首先添加了一些新机器并停用了相同数量的现有数据节点。我注意到在停用节点时block被标记为复制不足。这是否意味着我在停用多个节点时会面临风险？我可以并行停用所有节点吗？有没有更好的方法来更换所有机器？谢谢! 最佳答案 很明显，当一个节点关闭(或删除)时，数据复制不足。当您添加新节点并重新平衡时，这将自动修复。实际发生了什么？假设集群上的复制因子是3。当一个节点退役时，存储在其上的所有数据都消失了，该数据的复制因子现在是2(因此处于复制状态)。现在，当您添加一个新节点并重新平衡时，丢
我正在尝试使用this在Lubuntu机器上安装Hadoop2.7.3|教程。我正处于使用namenode-format命令格式化HDFS的时间点。每当我这样做时，我都会收到此错误:HadoopBot@hadoopmaster-MS-7756:~/Hadoop/hadoop/bin$/home/HadoopBot/Hadoop/hadoop/bin/hdfsnamenode-format/home/HadoopBot/Hadoop/hadoop/bin/hdfs:line304:/home/HadoopBot/Hadoop/hadoop/bin/$/usr/lib/jvm/java-8
在thisCloudera博文，在Replication部分，已经解释了复制不会消耗NameNode上的内存。但是，我对此持怀疑态度，因为我知道NameNode在主内存中存储有关每个文件及其副本的信息。那么，无论有无复制，内存需求如何相同？ 最佳答案 那么内存消耗取决于你的意思，因为有物理内存和虚拟内存(我这里只说Namenode)就物理内存而言，Cloudera博客是正确的，因为Datanode有责任与Namenode通信(例如，在重启后连接时)它维护的block。Namenode仅将文件系统结构存储到磁盘(fsimage和编辑文
我有一个包含3个节点的Hbase集群设置:一个NameNode和2个DataNode。NameNode是一个4GB内存和20GB硬盘的服务器，而每个DataNode有8GB内存和100GB硬盘。我正在使用ApacheHadoop版本:2.7.2和ApacheHbase版本:1.2.4我看到有人提到了辅助NameNode。我的问题是，在我的设置中没有辅助NameNode有什么影响？是否可以使用其中一个DataNode作为辅助NameNode？如果可能，我该怎么做？(我只在/etc/hadoop/masters文件中插入了NameNode。) 最佳答案
我使用的是mac和java版本:$java-versionjavaversion"1.8.0_111"Java(TM)SERuntimeEnvironment(build1.8.0_111-b14)JavaHotSpot(TM)64-BitServerVM(build25.111-b14,mixedmode)点击此链接:https://dtflaneur.wordpress.com/2015/10/02/installing-hadoop-on-mac-osx-el-capitan/我先brewinstallhadoop，根据需要配置ssh连接和xml文件，start-dfs.shst
我对使用QJM和HDFS联合的HadoopNamenodeHA有点困惑。两者都使用多个名称节点并且都提供高可用性。我无法决定将哪种架构用于Namenode高可用性，因为除了QJM之外，两者看起来完全相同。如果这不是这里要讨论的问题类型，请原谅。 最佳答案 HDFSHighAvailability和HDFSFederation之间的主要区别在于，Federation中的名称节点彼此不相关。在HDFS联邦中，所有名称节点共享一个元数据池，其中每个名称节点都有自己的池，因此提供容错能力，即如果联合中的一个名称节点发生故障，它不会影响其他名
我设置了一个运行良好的HAHadoop集群。但是添加Kerberos认证后datanode无法连接namenode。验证Namenode服务器成功启动并且没有记录错误。我用用户'hduser'启动所有服务$sudonetstat-tuplen...tcp0010.28.94.150:80190.0.0.0:*LISTEN1001202181518/javatcp0010.28.94.150:500700.0.0.0:*LISTEN1001202071447/javatcp0010.28.94.150:90000.0.0.0:*LISTEN1001202351447/java数据节点以r
我最近一直在伪分布式模式下设置hadoop，我创建了数据并将其加载到HDFS中。后来因为一个问题格式化了namenode。现在，当我这样做时，我发现之前在数据节点上已经存在的目录和文件不再显示了。(虽然“格式化”这个词是有道理的)但是现在，我确实有这个疑问。由于名称节点不再保存文件的元数据，是否会中断对先前加载文件的访问？如果是，那么我们如何删除数据节点上已有的数据？ 最佳答案 是的，您以前的数据节点目录现在已经过时了。您需要手动遍历每个数据节点并删除这些目录的内容。通过HadoopCLI没有这样的格式命令数据节点目录默认是/tmp
