我有一个由2台机器组成的集群，我正在尝试使用YARN集群管理器提交一个spark作业。基于hadoop2.6.2构建的vanillaSpark1.6.2普通Hadoop2.7.2我可以使用独立的集群管理器成功运行map-reduce作业和spark作业。但是当我用YARN运行它时，我得到了一个错误。对如何让它发挥作用有什么建议吗？如何启用更详细的日志记录？错误信息绝对不清楚为什么在hadoop/logs/userlogs/applicationXXX下没有创建日志文件？反问:IMO:hadoop日志记录和诊断不是很好。这是为什么？Hadoop似乎是一个成熟的产品。下面是输出:mike@
我有PentahoMapReduce作业(基本上是Java作业)，它将HBase数据作为map输入。工作流非常适合少量数据(例如100行数据)，但在几十万条记录上运行时会失败。两个映射器作业被提交到集群，它们正在做简单的数据聚合(大约400000行在两个HBase区域中分开)。它接缝任务无法在600秒内报告其状态，这是由mapred-site.xml中的mapred.task.timeout设置规定的。我不确定如何在Hadoop的Cloudera4.1.4发行版中更改此设置？同样在以下错误日志中，您可以看到一些其他错误:MetaVERSION="1".JobJOBID="job_201
我使用的是apachenutch2.3版本。我的hadoop版本是2.6.0。Hadoop在单节点上运行。当我按照nutch的命令运行时./crawl--index~/test/seed~/test-1上述命令的输出如下。InjectorJob:startingat2016-01-0412:03:26InjectorJob:InjectingurlDir:--indexInjectorJob:Usingclassorg.apache.gora.memory.store.MemStoreastheGorastorageclass.InjectorJob:org.apache.hadoop
所以我尝试使用sqoop将数据从impala导出到mysql，这是由oozie作业安排的。但是当第一个sqoop操作开始时，它停留在map100%和reduce0%，并且所有其他操作都被填充。奇怪的是，在我kill这个oozie作业之前，mysql中没有数据，但是在我kill之后，mysql表中出现了数据(只有与第一个卡住的sqoopAction相关的表)。这是我的导出脚本:enterimagedescriptionhere我的oozie工作操作如下所示:thefirstrunningistheonestuck并且没有错误日志存在。 最佳答案
在EclipseHadoopplugin2.6中添加新的Hadoop位置，并尝试扩展位置时出现此错误Aninternalerroroccurredduring:"Map/Reducelocationstatusupdater".java.lang.NullPointerException请看下面的图片:http://i.imgur.com/029g7Vq.jpg.http://i.imgur.com/RIlEPH6.jpg.顺便说一句，我需要为“Map/Reduce(V2)MasterSection”配置hadoop中的哪一部分配置？对我来说，端口54333没有在Master服务器上监
我目前正在使用sparkR测试一个应用程序。这是我的平台和应用程序详细信息:Platform:Windowsserver2008SparkRversion:Rversion3.1.2(2014-10-31)SparkVerion:version1.4.1我做了什么？第一步:将包加载到R环境中library(SparkR)--Working第二步:设置系统环境变量Sys.setenv(SPARK_HOME="C:\hdp\spark-1.4.1-bin-hadoop2.6")--Working.libPaths(c(file.path(Sys.getenv("SPARK_HOME"),"
我在Ubuntu16.04上以独立模式安装了hadoop2.7.3。我已经安装了Hive2.1.1并在HQL上工作。大多数查询都会触发MR作业。当我运行触发MR作业的查询时，系统会通过终止所有进程自动注销。当我检查节点管理器的日志时，我可以看到导致问题的语句是，WARNorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor:Exitcodefromcontainercontainer_1494943588964_0010_01_000001is:1432017-05-1619:48:08,263ERRORor
在描述软件产品版本的状态时，“普遍可用”、“生产就绪”、“稳定”和“最新/当前”之间有什么区别？我在ApacheHadoop网站上遇到了这些术语，在尝试选择正确的版本/发布/分发(这三个词也让我感到困惑)进行下载时:https://hadoop.apache.org/docs/r3.2.0/ApacheHadoop3.2.0incorporatesanumberofsignificantenhancementsoverthepreviousstableminorreleaseline(hadoop-3.1).Thisisthefirstreleasein3.2releaselinewh
我已经安装了zookeeper3.4.9版本和我的zoo.cfg文件配置如下initLimit=10syncLimit=5dataDir=/usr/local/zookeeper/clientPort=2181DataLogDir=/usr/local/log/server.1=hadoop-master:2888:3888server.2=hadoop-slave-1:2889:3889server.3=hadoop-slave-2:2890:3890当然我已经在三个节点的/usr/local/zookeeper/data/myid下启动了myid文件它包含hadoop-master
我正在尝试使用Hadoop、YARN和Accumulo运行MapReduce作业。我收到以下输出，但我无法找到问题所在。看起来是YARN问题，但我不确定它在寻找什么。我在$HADOOP_PREFIX/grid/hadoop/hdfs/yarn/logs位置有一个nmPrivate文件夹。这是它说找不到的文件夹吗？14/03/3108:48:46INFOmapreduce.Job:Jobjob_1395942264921_0023failedwithstateFAILEDdueto:Applicationapplication_1395942264921_0023failed2times
