我在大约500个节点的集群上运行Hadoop版本1.0.0。我的工作有大约3000个map任务和10个reduce任务。maptask在大约4小时后完成(如预期)。每个reduce任务都很快完成，结果都在我的输出目录中。然而，jobtracker然后认为某些map任务失败并开始重新执行它们。正在执行和挂起的reduce任务的数量保持为零。最终大约8小时后，这些maptask中的最后一个终于成功完成，作业被标记为成功完成。有什么想法吗？？？以下是部分jobtracker日志文件的摘录://maptasksallcomplete,eg:2013-05-2010:50:59,742INFOo

我需要帮助来了解为什么在运行pig脚本时出现错误。但是当我在较小的数据中尝试相同的脚本时，它会成功执行。有几个类似问题的问题，但没有一个有解决方案。我的脚本是这样的:A=load‘test.txt’usingTextLoader();B=foreachAgenerateSTRSPLIT($0,’”,”’)ast;C=FILTERBBY(t.$1==2andt.$2matches‘.*xxx.*’);StoreCintotemp;错误是:org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLaunch

我有PentahoMapReduce作业(基本上是Java作业)，它将HBase数据作为map输入。工作流非常适合少量数据(例如100行数据)，但在几十万条记录上运行时会失败。两个映射器作业被提交到集群，它们正在做简单的数据聚合(大约400000行在两个HBase区域中分开)。它接缝任务无法在600秒内报告其状态，这是由mapred-site.xml中的mapred.task.timeout设置规定的。我不确定如何在Hadoop的Cloudera4.1.4发行版中更改此设置？同样在以下错误日志中，您可以看到一些其他错误:MetaVERSION="1".JobJOBID="job_201

我是hadoop的新手，正在测试不同数量的map任务和reduce任务之间的性能差异。文件大小约为5GB，hadoop安装在4核/8核机器(超线程)上。map和reduce是用python写的，所以我用-Dmapred.map.tasks=2指定map任务数，用-D指定reduce任务数mapred.reduce.tasks=2.问题问题是结果没有显示不同数量的maptask之间的任何性能差异..结果+----------+----------+----------+|map|reduce|time|+----------+----------+----------+|1|1|47m0

请看下面的代码Map.javapublicclassMapextendsMapper{privatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();@Overridepublicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{Stringline=value.toString();StringTokenizertokenizer=newStringTokenizer(l

我在格式化namenode时遇到以下错误，我已经尝试使用sudosu，正如其他一些堆栈溢出解决方案中提到的那样，但我仍然遇到此错误，请协助。14/01/1616:10:41INFOutil.GSet:ComputingcapacityformapINodeMap14/01/1616:10:41INFOutil.GSet:VMtype=64-bit14/01/1616:10:41INFOutil.GSet:1.0%maxmemory=889MB14/01/1616:10:41INFOutil.GSet:capacity=2^20=1048576entries14/01/1616:10:4

我是Hadoop的新手，并尝试在具有32核和64GB内存和8个磁盘的服务器上设置hadoop2.2.0，同时我调整了文件“yarn-site.xml”，我发现当我加yarn.nodemanager.resource.memory-mb40960到“yarn-site.xml”并运行:hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarpi105我得到错误:14/01/2319:42:55INFOmapreduce.Job:TaskId:attempt_1390524052844_0002_m_0000

我有一个特别的pig工作，通常需要大约12分钟才能运行，但每天有几次它会卡在奇怪的状态。该作业有6个映射和1个reduce任务。它成功完成了第一个maptask，然后它会“暂停”数小时(永远!)。作业跟踪器指示有5个map和1个reduce挂起，但是没有任务在运行。没有任务显示任何错误。maptask将不会启动，但不会发生错误。我如何找出任务没有开始的原因？我已尝试提高作业的优先级，并且已验证有可用的map和reduce插槽。运行的一张map的任务日志看起来完全正常。是否有其他日志可以告诉我发生了什么？我正在使用ClouderaCDH4.5和MR1。小型集群有5个节点。

我在使用kitesdk导入json时遇到问题。使用命令生成avro模式:./kite-datasetjson-schema/vagrant/satyam/kite/restaurant-sample.json-osample.avsc--record-nameHGW然后通过命令在hdfs文件系统中创建数据集:./kite-datasetcreatedataset:hdfs:/user/falcon/datasets/hgw--schemasample.avsc要导入JSON文件，我正在运行以下命令:./kite-dataset-vjson-import/vagrant/satyam/k

我在AWSEMRhadoop2.2.0版本中运行了一个s3distcp作业。在3次尝试后，作业保持失败，reducer任务失败。我也都试过了:mapred.max.reduce.failures.percentmapreduce.reduce.failures.maxpercent要50到ooziehadoop操作配置和mapred-site.xml。但作业仍然失败。这是日志:2015-10-0214:42:16,001INFO[main]org.apache.hadoop.mapreduce.Job:TaskId:attempt_1443541526464_0115_r_000010