我是hadoop的新手，目前正在研究hadoop。我有一个小问题。我在输入文件夹中有大约10个文件，我需要将它们传递给我的mapreduce程序。我想要我的映射器中的文件名，因为我的文件名包含创建该文件的时间。我看到有人使用FileSplit在映射器中获取文件名。如果说我的输入文件包含数百万行，那么每次调用映射器代码时，它都会获取文件名，然后从文件中提取时间，这对于同一个文件来说显然是重复耗时的事情。一旦我在映射器中获得时间，我就不必一次又一次地从文件中分配时间。我怎样才能做到这一点？ 最佳答案 您可以使用Mapper的setup方
我对高效管理Hadoop洗牌流量和有效利用网络带宽很感兴趣。为此，我想知道每个数据节点产生了多少洗牌流量？洗牌流量只不过是映射器的输出。那么这个映射器输出保存在哪里？如何实时从每个数据节点获取映射器输出的大小？感谢您的帮助。我已经创建了一个目录来存储这个映射器的输出，如下所示。mapred.local.dir/app/hadoop/tmp/myoutput我看着hduser@dn4:/app/hadoop/tmp/myoutput$ls-lrttotal16drwxr-xr-x2hduserhadoop4096Dec1210:50tt_log_tmpdrwx------3hduserh
谁能告诉我MR1和yarn和MR2有什么区别我的理解是MR1将具有以下组件名称节点，二级名称节点，数据节点，工作追踪器，任务追踪器yarn节点管理器资源管理器Yarn是由MR1还是MR2组成的(或者MR2和Yarn都是一样的？)对不起，如果我问的是基本水平的问题 最佳答案 MRv1使用JobTracker创建任务并将其分配给任务跟踪器，当集群扩展到足够大(通常大约4,000个集群)时，这可能成为资源瓶颈。MRv2(又名YARN，“YetAnotherResourceNegotiator”)每个集群都有一个资源管理器，每个数据节点都运
我在ubuntu14.0.2操作系统上运行Hadoop2.7.0，并使用nano文本编辑器创建wordcount.java，源代码是从ApacheHadoop2.7.0Document复制的.在我使用此命令javac-classpathhadoop-2.7.0-core.jar-dMyJavawordcount.java编译wordcount.java后，这是我收到的错误消息。publicclassWordCount2{^wordcount_v2.java:11:error:packageorg.apache.hadoop.confdoesnotexistimportorg.apach
这是我的场景。我有一份处理大量csv数据并使用Avro将其写出到按日期划分的文件中的工作。我得到了一个小文件，我想用它来更新其中一些文件和第二个作业的附加条目我可以在需要发生时运行，而不是再次重新处理整个数据集。这个想法大概是这样的:工作1:处理大量csv数据，将其写入压缩的Avro文件中，按输入日期拆分为多个文件。源数据未按日期划分，因此此作业将执行此操作。Job2(在Job1运行之间根据需要运行):处理小更新文件并使用它来将条目添加到适当的Avro文件中。如果它不存在，则创建一个新文件。Job3(始终运行):根据Job1(可能还有Job2)的输出生成一些报告指标。因此，我必须以这种
我对ApacheHive的理解是它是一个类似SQL的工具层，用于查询Hadoop集群。我的理解ApachePig是它是一种用于查询Hadoop集群的过程语言。因此，如果我的理解是正确的，Hive和Pig似乎是解决同一问题的两种不同方法。但是，我的问题是，我不理解他们首先要解决的问题!假设我们有一个DB(关系型、NoSQL，无关紧要)将数据馈送到HDFS，以便可以针对该输入数据运行特定的MapReduce作业:我对Hive/Pig正在查询的系统感到困惑!他们在查询数据库吗？他们是否查询存储在HDFS上DataNode中的原始输入数据？他们是否正在运行一些临时的、即时的MR作业并报告他们的
在我的reducer中，我需要映射器处理的输入“行”总数。示例输入:输入第1行第2行的输入输入第3行因此，在所有Reducer中，我需要访问映射器发出的任何内容加上总行数(在本例中为3)。我假设我需要多个作业或将一些映射器和/或缩减器链接在一起，但我不确定正确的方法。注意:这不是一个简单的平均程序，所以我不能只从映射器中获取一个键。 最佳答案 job.getCounters().findCounter(TaskCounter.MAP_INPUT_RECORDS).getValue()获取记录总数。
每个人都说Spark正在使用内存，因此它比Hadoop快得多。我没有从Spark文档中理解真正的区别是什么。Spark将数据存储在内存中的什么位置，而Hadoop不存储数据？如果数据对内存来说太大了怎么办？在那种情况下，它与Hadoop有多相似？ 最佳答案 Spark尝试将内容保存在内存中，而MapReduce不断将内容混入和移出磁盘。中间输出存储在主内存中，而hadoop将中间结果存储在辅助内存中。MapReduce插入了barrier，把东西写到磁盘再读回来需要很长时间。因此MapReduce可能是缓慢而费力的。消除此限制使Sp
我正在学习hadoopmapreduce，并且正在使用JavaAPI。我了解到TotalOrderPartitioner用于在集群中“全局”按键对输出进行排序，并且它需要一个分区文件(使用InputSampler生成):job.setPartitionerClass(TotalOrderPartitioner.class);InputSampler.Samplersampler=newInputSampler.RandomSampler(0.1,200);InputSampler.writePartitionFile(job,sampler);我有几个疑问，我向社区寻求帮助:“全局排序
是否可以在Google应用引擎上运行mapreduce作业？任何引用或教程都会有所帮助谢谢 最佳答案 有点。您不能使用实际的MapReduce框架-该架构与AppEngine太不兼容。但是，有一个专门为GAE构建的等效系统-appengine-mapreduce.该站点有点令人困惑，因为代码的第一个版本只支持映射器，没有后续的减少步骤——最近他们发布了一个完全支持mapreduce的版本，但一些文档仍然引用早期的仅映射器。最好的介绍是GoogleIOtalkfromMikeAizatskyi.
