草庐IT

hashpartioner

全部标签

hadoop - 替代 hadoop 提供的默认 hashpartioner

我有一个hadoopMapReduce程序,它不均匀地分布key。一些reducer最终有两个键,一些有一个键,有些没有。我如何强制hadoop将具有特定键的每个分区分配到单独的reducer。我有九个形式的唯一键:0,00,10,21,01,11,22,02,12,2我设置了job.setNumReduceTasks(9);但是hashpartitioner似乎将两个键哈希到相同的哈希码,导致重叠的键被发送到同一个reducer并使一些reducer空闲。随机分区器能解决这个问题吗?它将每个唯一的key发送到一个随机的reducer,以保证每个reducer收到一个key。如何启用它