我在大学的讲师说，(Hadoop)reduce操作只有在所有map操作完成后才能开始。这与明显有时显示的map-reduce流操作的输出形成对比:map80%reduce13%map80%reduce27%andthenmap100%reduce27%..map100%reduce100%(我家里有一个mapreduce三节点集群，我已经运行了一些流媒体作业)。鉴于我的讲师知道他在说什么，输出意味着什么？当reduce已启动但map未完成时，作业处于什么状态？ 最佳答案 Reduce阶段有3个步骤:1)复制(数据到reducers)
我想将部分映射器输出写入一个文件夹，比如HDFS中的文件夹A。输出的另一部分，我希望它由reducer处理。这可能吗？我知道多个输出。这可能使用多个输出吗？谢谢! 最佳答案 是的，可以使用MultipleOutputs，根据文档，在map阶段通过MultipleOutputs传递的任何输出都会被reducer忽略，所以这正是您想要的。我在myGitHub上写了一个小例子我希望你会发现它很有用。 关于hadoop-是否可以在hadoop中将映射器的一部分发送到reducer，而仅将另一部分
我正在阅读Hadoop:Thedefinitiveguide3rdedtition通过汤姆怀特。它是了解Hadoop内部结构的极好资源,特别是Map-Reduce我感兴趣的。从书中，(第205页):洗牌和排序MapReduce保证每个reducer的输入都按键排序。系统执行排序的过程——并将map输出作为输入传输到reducer——被称为shuffle。我由此推断，key在发送到reducer之前是经过排序的，说明job的map阶段的输出是排序的。请注意:我不称之为映射器，因为映射阶段包括映射器(由程序员编写)和MR框架的内置排序机制。map侧每个映射任务都有一个循环内存缓冲区，它将输
运行几个mapreduce作业，一个作业接管了所有的reducer容量。有没有办法杀死一两个reducer任务来释放集群？我可以直接转到任务跟踪器服务器之一并手动终止java进程。但我想知道是否有更体面的方法来做到这一点？ 最佳答案 您可以通过以下方式终止任务尝试:hadoopjob-kill-task[task_attempt_id]要获取任务尝试ID，您需要更深入地了解任务(通过单击作业跟踪器上的任务超链接)。 关于hadoop-有没有办法在Hadoop中终止reducer任务？，我
这可能表明我缺乏对Java的理解，但我想知道为什么在大多数MapReduce程序中映射器和缩减器类被声明为静态的？ 最佳答案 当将mapper和reducer类声明为另一个类的内部类时，必须将它们声明为静态的，以便它们不依赖于父类。Hadoop使用反射为每个运行的map或reduce任务创建类的实例。创建的新实例需要一个零参数构造函数(否则它怎么知道要传递什么)。通过在不使用static关键字的情况下声明内部映射器或reduce类，java编译实际上创建了一个构造函数，该构造函数期望在构造时传入父类的实例。您应该能够通过对生成的类文
我现在有一个可怕的问题。当我在hadoop中运行作业时，map进程正常，达到100%，没有发生任何故障。然而，当reduce进程运行时，它在达到67%时停止了。这很奇怪。我是hadoop的新手，在网上搜索了很多资料，但现在仍然很困惑。下面是一段输出。13/10/2521:40:00INFOinput.FileInputFormat:Totalinputpathstoprocess:213/10/2521:40:01INFOmapred.JobClient:Runningjob:job_201310252001_000313/10/2521:40:02INFOmapred.JobClie
现在我有一个4阶段的MapReduce作业，如下所示:Input->Map1->Reduce1->Reducer2->Reduce3->Reduce4->Output我注意到Hadoop中有一个ChainMapper类，它可以将多个映射器链接成一个大映射器，并节省映射阶段之间的磁盘I/O成本。还有一个ChainReducer类，但它不是真正的“Chain-Reducer”。它只能支持以下工作:[Map+/ReduceMap*]我知道我可以为我的任务设置四个MR作业，并为最后三个作业使用默认映射器。但这会消耗大量磁盘I/O，因为reducer应该将结果写入磁盘以让后面的映射器访问它。是否
我正在使用Hadoop分析分布非常不均匀的数据。有些键有数千个值，但大多数只有一个。例如，与IP地址相关联的网络流量会有许多数据包与一些多话的IP相关联，而只有少数数据包与大多数IP相关联。另一种说法是Giniindex非常高。为了有效地处理这个问题，每个reducer应该获得一些高容量键或大量低容量键，以便获得大致均匀的负载。如果我正在编写分区过程，我知道我将如何做到这一点:我将采用keys的排序列表。(包括所有重复键)由映射器生成以及缩减器的数量N并把拆分放在split[i]=keys[floor(i*len(keys)/N)]reduceri会得到keyk这样split[i]对于
根据Hadoop:TheDefinitiveGuide.ThenewAPIsupportsbotha“push”anda“pull”styleofiteration.InbothAPIs,key-valuerecordpairsarepushedtothemapper,butinaddition,thenewAPIallowsamappertopullrecordsfromwithinthemap()method.Thesamegoesforthereducer.Anexampleofhowthe“pull”stylecanbeusefulisprocessingrecordsinba
我是Hadoop的新手，目前分配给我的项目是“实现高级作业控制框架以帮助链接多个Map-Reduce作业，即调查/改进现有的org.apache.hadoop.mapred.jobcontrol包。”此项目列在随机想法下的项目建议页面上http://wiki.apache.org/hadoop/ProjectSuggestions#research_projects我的困惑是，我是否必须构建Oozie的高级版本(我认为这是一个链接多个作业的作业控制框架)或类似的东西，或者这是否意味着完全不同的东西。我错过了什么？ 最佳答案 看起来您
