草庐IT

straggler

全部标签

hadoop - 如何处理 hadoop 中的 straggler reducers

我有一个非常简单的用例...基本上我有一个边缘列表,我试图将它转换成邻接列表..基本上srctargetabacbdbe等等..我要构建的是a[b,c]b[d,e]..andsoon..但时不时地..我碰到一个super节点..它有数百万条边..因此,由于这个stragglerreducer,只键入节点ID会导致MR执行不佳。我一直在努力了解分区程序..但我不知道如何在这里使用它?我该如何解决这个散兵游勇的问题?谢谢 最佳答案 我不明白你的目的是什么。你用什么来生成一个单一的输出文件?或者你想加快速度?如果你想获得单个输出文件,那么