草庐IT

IdentityReducer

全部标签

hadoop - 新 Hadoop API 中的 identityreducer

我花了将近一天的时间,但无法弄清楚如何在新的HadoopAPI中使用IdentityReducer。我能找到的所有引用资料或类都使用旧API。显然,在新API代码库中混合旧APIidetntitreducer类并不顺利。任何帮助将不胜感激。 最佳答案 主要是因为在新的API中Mapper和Reducer是类而不是接口(interface),它们是IdentityMapper/Reducer的新替代者。所以你只需要使用Mapper.class和Reducer.class来获取标识。 关于h

hadoop - 执行 MapReduce 时使用 InverseMapper 和 IdentityReducer 时出错

所以我有一个巨大的访问日志文件,我正试图在服务器上找到命中率最高的路径。查找一条路径被命中的次数是一个传统的字数统计问题。但是,由于输出值未在MR作业中排序(仅对键进行排序),我正在执行另一个MR作业,其中映射器将上一个作业的输出作为输入,我使用InverseMapper.java反转键和值并使用IdentityReducer(Reducer.java),因为不需要聚合,我只需要对键(即第一个作业的值)进行排序。这是我的代码:packageedu.pitt.cloud.CloudProject;importjava.io.IOException;importorg.apache.had