我创建了一个驱动程序，它读取一个配置文件，构建一个对象列表(基于配置)并将该列表传递给 MapReduce(MapReduce 有一个静态属性，它包含对该对象列表的引用)。

它可以工作，但只能在本地工作。一旦我在集群配置上运行该作业，我就会收到各种错误提示列表尚未构建。这让我觉得我做错了，在集群设置上，MapReduce 独立于驱动程序运行。

我的问题是如何正确初始化映射器。

(我使用的是 Hadoop 2.4.1)

最佳答案

这个和side数据分布的问题有关。

侧数据分发有两种方法。

1)分布式缓存

2)配置

由于您有要共享的对象，我们可以使用配置类。

这个讨论将依赖于配置类来使一个对象在集群中可用，所有映射器和(或)缩减器都可以访问。这里的方法非常简单。 Configuration 类的 setString(String, String) setter 用于完成此任务。必须共享的对象在驱动程序端被序列化为 java 字符串，并在 Mapper 或 Reducer 被反序列化回对象。

在下面的示例代码中，我使用了 com.google.gson.Gson 类来实现简单的序列化和反序列化。您也可以使用 Java 序列化。

表示您需要共享的对象的类

 public class TestBean {
    String string1;
    String string2;
    public TestBean(String test1, String test2) {
        super();
        this.string1 = test1;
        this.string2 = test2;
    }
    public TestBean() {
        this("", "");
    }
    public String getString1() {
        return string1;
    }
    public void setString1(String test1) {
        this.string1 = test1;
    }
    public String getString2() {
        return string2;
    }
    public void setString2(String test2) {
        this.string2 = test2;
    }
}

您可以在其中设置配置的主类

public class GSONTestDriver {
    public static void main(String[] args) throws Exception {
        System.out.println("In Main");
        Configuration conf = new Configuration();
        TestBean testB1 = new TestBean("Hello1","Gson1");
        TestBean testB2 = new TestBean("Hello2","Gson2");
        Gson gson = new Gson();
        String testSerialization1 = gson.toJson(testB1);
        String testSerialization2 = gson.toJson(testB2);
        conf.set("instance1", testSerialization1);
        conf.set("instance2", testSerialization2);
        Job job = new Job(conf, " GSON Test");
        job.setJarByClass(GSONTestDriver.class);
        job.setMapperClass(GSONTestMapper.class);
        job.setNumReduceTasks(0);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        job.waitForCompletion(true);
    }
}

您可以从中检索对象的映射器类

public class GSONTestMapper extends
Mapper<LongWritable, Text, Text, NullWritable> {
    Configuration conf;
    String inst1;
    String inst2;
    public void setup(Context context) {
        conf = context.getConfiguration();
        inst1 = conf.get("instance1");
        inst2 = conf.get("instance2");
        Gson gson = new Gson();
        TestBean tb1 = gson.fromJson(inst1, TestBean.class);
        System.out.println(tb1.getString1());
        System.out.println(tb1.getString2());
        TestBean tb2 = gson.fromJson(inst2, TestBean.class);
        System.out.println(tb2.getString1());
        System.out.println(tb2.getString2());
    } 
    public void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        context.write(value,NullWritable.get());
    }
}

使用 com.google.gson.Gson 类的 toJson(Object src) 方法将 bean 转换为序列化的 Json 字符串。然后序列化的 Json 字符串作为值通过配置实例传递，并通过名称从 Mapper 访问。使用同一个 Gson 类的 fromJson(String json, Class classOfT) 方法在那里反序列化字符串。您可以放置​​您的对象而不是我的测试 bean。

关于hadoop - 将对象从驱动程序传递到 MapReduce，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26983741/