我在Hadoop集群中有一个主节点。它可以是也可以不是工作节点。如何获取有关主节点用于协调其他节点的CPU/内存使用情况以及用于其自己的工作节点使用情况的信息？例如，40%的内存或CPU用于其主节点任务(协调其他工作节点)，30%内存用于工作节点任务(主节点机器内部的工作节点)。有没有办法知道这一点？谢谢。 最佳答案 是的，通过使用Namenode和DatanodeJVM任务的JMX监控，有一个完美的方法来处理这种情况。您将能够跟踪namenode、datanode、jobtrackerJVM进程的各种性能指标。请引用，http:/
当我尝试使用./goragoracompiler运行apachegora编译器时，出现以下错误错误:无法找到或加载主类org.apache.gora.compiler.cli.GoraCompilerCLI在此之前我收到JAVA_HOMEnotset错误，之后我通过设置JAVA_HOME变量解决了该错误操作系统:CentOS6.5Java版本:Java版本“1.7.0_45”OpenJDK运行时环境(rhel-2.4.3.3.el6-x86_64u45-b15)OpenJDK64位服务器VM(构建24.45-b08，混合模式) 最佳答案
我有一个带有一个主节点和一个从节点的小型hadoop集群，由于某种原因，必须将主节点移动到另一台机器上。虽然我可以很容易地重新配置节点，并且我有迁移配置单元元数据和其他内容的策略，但我担心的是HDFS。我是否必须在目标机器上移动hadoop_tmp(我的hdfs所在的位置)的文件？或者集群将通过从服务器复制文件来重建？我害怕登陆不一致的hdfs，什么是最好的？ 最佳答案 DistCP将是最好的方法。DistCP 关于hadoop-在另一个盒子中移动hadoop主节点:howtohandl
我有一个简单的Java客户端，可以将文件保存到HDFS-配置了1个名称节点。为此，我使用hadoop配置，指定默认文件系统，如:org.apache.hadoop.conf.Configurationconf=neworg.apache.hadoop.conf.Configuration();conf.set("fs.defaultFS","hdfs://NNip:port");但是，将来我需要连接到配置有1个Activity名称节点和1个备用名称节点的hdfs，以防Activity名称节点出现故障，自动使用备用名称节点。有没有人对如何实现这一目标有任何建议？任何链接/示例将不胜感激，
最近，我在Ubuntu上安装了hadoop多节点集群，一切正常，namenode和secondarynode(它的名字HadoopMaster)，所有slaves都是2(HadoopDataNode1，HadoopDataNode2)执行start-dfs.sh和start-yarn.sh脚本时的问题，所有从节点都在运行其正常作业“datanode和Nodemanager”，一切正常，但主节点HadoopMaster在检查报告时，我只得到一个数据节点，它是主节点数据节点，但我没有找到其他数据节点的数据节点..所有日志文件看起来都不错，没有异常(exception)dfsadmin-re
我是hadoop的新手，我正在尝试在Windows10上设置hadoop。我从Apache网站下载了hadoop版本2.7.3tar.gz。这些是我完成的步骤:将tar.gz解压缩到C:\中的一个文件夹中--->C:\hadoop创建HADOOP_HOME环境变量并将其设置为C:\hadoop通过添加C:\hadoop\bin更新了PATH环境变量添加了JAVA_HOME环境变量并将其设置为jdk主文件夹。问题是，我执行的任何Hadoop相关命令都会给我以下错误:Error:CouldnotfindorloadmainclassM例如，即使在执行以下命令时我也会收到此错误:hadoop
当我在masternote上运行这个命令时hadoophdumer@HadoopMaster:~$hive但是Hadoop多节点运行良好它显示以下错误:Logginginitializedusingconfigurationinjar:file:/usr/local/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesExceptioninthread"main"java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.
您好，当我尝试将MySql表导入hdfs时出现错误:sqoopimport--connectjdbc:mysql://dba-virtual-machine/test--usernamesocio--tabletextlines--columnsline--target-dir/textlines2014-06-1607:43:24,308INFO[main]manager.MySQLManager:PreparingtouseaMySQLstreamingresultset.2014-06-1607:43:24,319INFO[main]tool.CodeGenTool:Beginn
当我运行distcp将数据从s3移动到我的本地hdfs时，我在启动mapreduce作业以复制数据期间遇到此异常:Error:Couldnotfindorloadmainclassorg.apache.hadoop.mapreduce.v2.app.MRAppMaster我检查了所有可能的在线文章。我的yarn-site.xml文件包含yarn.application.classpath$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOM
谁能告诉我们如何在Hadoop集群中配置和使用多主节点？ 最佳答案 如果您正在寻找多个NameNode，请检查HDFShighavailability和HDFSfederation.两者都应该在2xHadooprelease中可用.JobTracker1xHadooprelease中多了一个master，一个集群中只能有一个JobTracker。顺便说一句，JobTracker功能已在2xHadoop版本中拆分。检查this了解更多详情。可能还有其他一些替代选项，但这取决于拥有多个主控的要求。是可用性、可扩展性还是其他？
