我有一个格式非常简单的 XML 文档，我想将其转换为适合导入 Hive 的 TSV。本文档的格式很简单:

<root>
   <row>
      <ID>0</ID>
      <ParentID>0</ParentID>
      <Url></Url>
      <Title></Title>
      <Text></Text>
      <Username></Username>
      <Points>0</Points>
      <Type>0</Type>
      <Timestamp></Timestamp>
      <CommentCount>0</CommentCount>
   </row>
</root>

我有一个有效的 Ruby 脚本，可以将上述格式的文档正确转换为 TSV。就在这里:

require "rubygems"
require "crack"

xml = Crack::XML.parse(File.read("sample.xml"))

xml['root']['row'].each{ |i|
  puts "#{i['ID']}      #{i['ParentID']}        #{i['Url']}     #{i['Title']}..." 
}

不幸的是，我需要翻译的文件远远大于此脚本可以处理的文件 (> 1 GB)。

这就是 Hadoop 的用武之地。最简单的解决方案可能是用 Java 编写 MapReduce 作业，但鉴于我缺乏 Java 技能，这不是一个选择。所以我想用 Python 或 Ruby 编写映射器脚本，我远非专家，但至少可以导航。

当时我的计划是执行以下操作:

1. 使用StreamXmlRecordReader逐条解析文件
2. 使用破解映射反序列化
3. 通过对制表符间隔的元素进行简单的反流来减少它

然而，这种方法一直失败。我使用过各种 Ruby/Wukong 脚本，但都没有成功。这是一篇基于文章 here 的文章:

#!/usr/bin/env ruby

require 'rubygems'
require 'crack'

xml = nil
STDIN.each_line do |line|
  puts |line|
  line.strip!

  if line.include?("<row")
    xml = Crack::XML.parse(line)
    xml['root']['row'].each{ |i|
      puts "#{i['ID']}      #{i['ParentID']}        #{i['Url']}..."     
  else
    puts 'no line'
  end

  if line.include?("</root>")
    puts 'EOF'
  end
end

此作业和其他作业失败如下:

hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2+737.jar -input /hackernews/Datasets/sample.xml -output out -mapper mapper.rb -inputreader "StreamXmlRecordReader,begin=<row,end=</row>"
packageJobJar: [/var/lib/hadoop-0.20/cache/sog/hadoop-unjar1519776523448982201/] [] /tmp/streamjob2858887307771024146.jar tmpDir=null
11/01/14 17:29:17 INFO mapred.FileInputFormat: Total input paths to process : 1
11/01/14 17:29:17 INFO streaming.StreamJob: getLocalDirs(): [/var/lib/hadoop-0.20/cache/sog/mapred/local]
11/01/14 17:29:17 INFO streaming.StreamJob: Running job: job_201101141647_0001
11/01/14 17:29:17 INFO streaming.StreamJob: To kill this job, run:
11/01/14 17:29:17 INFO streaming.StreamJob: /usr/lib/hadoop-0.20/bin/hadoop job  -Dmapred.job.tracker=localhost:8021 -kill job_201101141647_0001
11/01/14 17:29:17 INFO streaming.StreamJob: Tracking URL: http://localhost:50030/jobdetails.jsp?jobid=job_201101141647_0001
11/01/14 17:29:18 INFO streaming.StreamJob:  map 0%  reduce 0%
11/01/14 17:30:05 INFO streaming.StreamJob:  map 100%  reduce 100%
11/01/14 17:30:05 INFO streaming.StreamJob: To kill this job, run:
11/01/14 17:30:05 INFO streaming.StreamJob: /usr/lib/hadoop-0.20/bin/hadoop job  -Dmapred.job.tracker=localhost:8021 -kill job_201101141647_0001
11/01/14 17:30:05 INFO streaming.StreamJob: Tracking URL: http://localhost:50030/jobdetails.jsp?jobid=job_201101141647_0001
11/01/14 17:30:05 ERROR streaming.StreamJob: Job not Successful!
11/01/14 17:30:05 INFO streaming.StreamJob: killJob...
Streaming Command Failed!

第一个问题是我不知道哪里出了问题:我的脚本，还是 StreamXmlRecordReader。

第二个问题是，一位亲切且乐于助人的专家告诉我，因为 StreamXmlRecordReader 不会产生额外的记录分隔符，所以这种方法可能行不通，我需要单独读取lines, grep for row, 堆叠一切直到你得到/row，然后解析它。

这是最简单的方法吗？如果是，我如何才能最好地实现它？

性能不是大问题，因为这些文件每隔几周左右进行一次批处理，以防万一。

最佳答案

如果您有这个问题，Infochimps 的人已经解决了。这是必要的悟空脚本:

http://thedatachef.blogspot.com/2011/01/processing-xml-records-with-hadoop-and.html

关于ruby - 如何使用 Hadoop 将 XML 转换为 TSV？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4696748/