草庐IT

numofreducers

全部标签

java - numofreducers 在 map reduce 中的使用

我对mapreduce有一个简单的疑问。为什么我们必须在mapreduce驱动类中设置numofreducers。如果我们不设置,默认值将是1。如果我设置100,100个reduce任务将运行。这样做有什么好处。是为了减少单个节点的工作量。(如果reduce任务为1,则任务将在1个节点中运行)。还有其他优势吗?谢谢你的帮助 最佳答案 正确的reduce数量似乎是:0.95or1.75multipliedby(*).在0.95中,所有的reduce都可以立即启动并在map完成时开始传输map输出。在1.75中,更快的节点将完成第一轮减