草庐IT

WritableCompare

全部标签

hadoop - 自定义 WritableCompare 将对象引用显示为输出

我是Hadoop和Java的新手,我觉得我缺少一些明显的东西。如果这意味着什么,我正在使用Hadoop1.0.3。我使用hadoop的目标是获取一堆文件并一次解析一个文件(而不是逐行解析)。每个文件都会产生多个键值,但其他行的上下文很重要。键和值是多值/复合的,所以我为键实现了WritableCompare,为值实现了Writable。因为每个文件的处理都需要一点CPU,所以我想保存映射器的输出,然后再运行多个reducer。对于复合键,我遵循了[http://stackoverflow.com/questions/12427090/hadoop-composite-key][1]问题