我想实现DPC算法(通过快速搜索和发现密度峰进行聚类)。这是一项艰巨的工作，所以我决定从计算 Rho 开始。

这是 map :

 public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            String[] lineSplit = line.split(" ");
            if (Double.parseDouble(lineSplit[2]) < dcThreshold) {
                IntWritable one = new IntWritable(
                        Integer.parseInt(lineSplit[0]));
                IntWritable two = new IntWritable(
                        Integer.parseInt(lineSplit[1]));
                context.write(one, two);
            }
        }

这里是 Reducer:

public void reduce(IntWritable key, IntWritable values, Context context)
                throws IOException, InterruptedException {
            int[] indexs = new int[2];
            indexs[0] = Integer.parseInt(key.toString());
            indexs[1] = Integer.parseInt(values.toString());
            for (int i = 0; i < indexs.length; i++) {
                densityCountMap.put(indexs[i],
                        densityCountMap.get(indexs[i]) + 1);
            }
        }

问题

densityCountMap是一个hash map，只有完成后才能正确。如何输出densityCountMap？以什么方式？

--------解决方案--------

感谢 mbaxi，您确实启发了我，因为您提到 reduce 定义不正确并且 densityCountMap 不是必需的。

我应该说得更清楚一点，目标是如果 lineSplit[2] 低于某个阈值，则 lineSplit[0] 和 lineSplit[1] 都会增加。实际上不需要覆盖清理。

映射器:

public static class TokenizerMapper extends
        Mapper<LongWritable, Text, IntWritable, IntWritable> {
    private final static IntWritable count = new IntWritable(1);

    public void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        String line = value.toString();
        String[] lineSplit = line.split(" ");
        if (Double.parseDouble(lineSplit[2]) < dcThreshold) {
            IntWritable one = new IntWritable(
                    Integer.parseInt(lineSplit[0]));
            IntWritable two = new IntWritable(
                    Integer.parseInt(lineSplit[1]));
            context.write(one, count);// Both should be increased 
            context.write(two, count);// both as key
        }
    }
}

reducer :

public static class IntSumReducer extends
            Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(IntWritable key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);//densityCountMap is redundant if having known better the structure of Map/reduce
            context.write(key, result);//it equals to output densityCountMap
        }
    }

再次感谢，您带来的不仅仅是帮助，还有灵感。

最佳答案

您可以覆盖 cleanup(Context context) 方法，继续在 reduce() 方法中填充您的 densityCountMap，并在 cleanup(Context context) 方法中将内容刷新/写入磁盘。

cleanup() 在处理完所有行后调用。

---在评论区按要求编辑---

如果您使用的是 Eclipse 编辑器，请右键单击要扩展的 Reducer 类，然后单击 Source->Override/Implement Methods，否则您可以查找 javadoc。

private static class RhoCalculationReducer extends Reducer<Text,Text,Text,Text> {
}

在那里你会看到以下方法的列表[请注意输入参数/数据类型可能会根据你的类定义而改变] -

cleanup(Context)
reduce(Text, Iterable<Text>, Context)
run(Context)
setup(Context)

您的 reduce() 或 map() 函数实际上是重写的实现，您可以在其中提供自己的处理逻辑。 setup() 和 cleanup() 可以被认为分别类似于 map 或 reduce 任务的构造函数或析构函数。 setup() 在 reduce 任务的 map 开始之前调用，cleanup() 在任务结束时调用。

我还看到您的 reduce 定义不正确，而不是“IntWritable values”，它应该是“Iterable values", 对于 reducer，确保单个键的值由单个 reducer 处理，这就是签名采用键和可迭代值列表的原因。 可能您还想将来自单个键的记录聚合在一起，并且可能不需要额外的 densityCountMap，因为 reducer 已经负责一次性提取给定键的所有值。

关于java - 映射/减少 :How to output Hashmap after completion?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28810055/