草庐IT

WritableComparator

全部标签

hadoop - 所有内置的可写对象都使用默认的原始比较器吗?

我只是感到困惑,是否所有内置的可写对象(如IntWritable、FloatWritable、GenericWritable等)默认都使用原始比较器进行比较?如果没有,我们应该如何注册它们以使用rawcomparator。 最佳答案 如何获取RawComparator在JobConf.getOutputKeyComparator中:publicRawComparatorgetOutputKeyComparator(){ClasstheClass=getClass("mapred.output.key.comparator.class

hadoop - 何时实现 WritableComparable 以及何时扩展 WritableComparator

刚开始探索mapreduce,遇到了有compareTo()方法的Writablecomparable接口(interface)和有compare()方法的Writablecomparator,当我们写自己的CustomWritableclasses的时候,如果要实现的话应该在什么情况下使用我们自己的排序机制? 最佳答案 引用链接。很好的解释。https://vangjee.wordpress.com/2012/03/30/implementing-rawcomparator-will-speed-up-your-hadoop-ma

java - 如何使用 WritableComparator Hadoop

下面是我使用WritableComparator的代码片段,但它不起作用importorg.apache.hadoop.io.WritableComparable;importorg.apache.hadoop.io.WritableComparator;publicclassMovieComparatorextendsWritableComparator{publicMovieComparator(){super(Movie.class);}@Overridepublicintcompare(WritableComparableo,WritableComparableo2){Syst