我正在尝试获取 csv 文件的摘要，文件的第一行是标题。有没有一种方法可以使每个列的值及其标题名称作为 Java 代码中的键值对。

例如:输入文件是这样的

A,B,C,D

1,2,3,4

5,6,7,8

我希望映射器的输出为 (A,1),(B,2),(C,3),(D,4),(A,5),....

注意:我尝试使用覆盖 Mapper 类中的运行函数来跳过第一行。但据我所知，每次输入拆分都会调用运行函数，因此不适合我的需要。对此的任何帮助将不胜感激。

这是我的映射器的样子:

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        String line = value.toString();
        String[] splits = line.split(",",-1);
        int length = splits.length;
    //  count = 0;

        for (int i = 0; i < length; i++) {
            columnName.set(header[i]);      
            context.write(columnName, new Text(splits[i]+""));
        }

    }

    public void run(Context context) throws IOException, InterruptedException
    {        
        setup(context); 
        try 
        {

            if (context.nextKeyValue())
            { 

                Text columnHeader = context.getCurrentValue();
                header =  columnHeader.toString().split(",");

            }    
            while (context.nextKeyValue()) 
            {
                map(context.getCurrentKey(), context.getCurrentValue(), context);
            }
        } 
        finally 
        {
            cleanup(context);
        }      
    }

最佳答案

我假设列标题是字母，列值是数字。

实现此目的的方法之一是使用 DistributedCache。 以下是步骤:

1. 创建一个包含列标题的文件。
2. 在驱动程序代码中，通过调用 Job::addCacheFile()
将该文件添加到分布式缓存中
3. 在映射器的setup() 方法中，从分布式缓存访问该文件。解析文件内容并将其存储在 columnHeader 列表中。
4. 在 map() 方法中，检查每条记录中的值是否与标题匹配(存储在 columnnHeader 列表中)。如果是，则忽略该记录(因为该记录只包含标题)。如果否，则将值与列标题一起发出。

这是映射器和驱动程序代码的样子:

司机:

public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();

    Job job = Job.getInstance(conf, "HeaderParser");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(HeaderParserMapper.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(NullWritable.class);

    job.addCacheFile(new URI("/in/header.txt#header.txt"));
    FileInputFormat.addInputPath(job, new Path("/in/in7.txt"));
    FileOutputFormat.setOutputPath(job, new Path("/out/"));

    System.exit(job.waitForCompletion(true) ? 0:1);
}

驱动程序逻辑:

• 将“header.txt”(仅包含一行:A,B,C,D)复制到 HDFS

• 在驱动程序中，通过执行以下语句将“header.txt”添加到分布式缓存中:

  job.addCacheFile(new URI("/in/header.txt#header.txt"));
  

映射器:

public static class HeaderParserMapper
        extends Mapper<LongWritable, Text , Text, NullWritable>{

    String[] headerList;
    String header;

    @Override
    protected void setup(Mapper.Context context) throws IOException, InterruptedException {
        BufferedReader bufferedReader = new BufferedReader(new FileReader("header.txt"));
        header = bufferedReader.readLine();
        headerList = header.split(",");
    }

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        String line = value.toString();
        String[] values = line.split(",");

        if(headerList.length == values.length && !header.equals(line)) {
            for(int i = 0; i < values.length; i++)
                context.write(new Text(headerList[i] + "," + values[i]), NullWritable.get());
        }
    }
}

映射器逻辑:

• 覆盖 setup() 方法。
• 在setup()方法中读取“header.txt”(放在Driver的分布式缓存中)。
• 在 map() 方法中，检查行是否与标题匹配。如果是，则忽略该行。否则，将标题和值输出为 (h1,v1)、(h2,v2)、(h3,v3) 和 (h4,v4)。

我在以下输入上运行了这个程序:

A,B,C,D
1,2,3,4
5,6,7,8

我得到以下输出(其中值与相应的 header 匹配):

A,1
A,5
B,2
B,6
C,3
C,7
D,4
D,8

关于java - 从 java map reduce 代码中跳过 header ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34400458/