草庐IT

hadoop - 将 XML 数据加载到配置单元表时出错

coder 2024-01-06 原文

我正在尝试将 XML 文件加载到我的配置单元表中。下面是我的配置单元表查询。

CREATE TABLE MYDATA(NAME STRING, AGE INT, SEX STRING)
   ROW FORMAT SERDE 'com.ibm.spss.hive.serde2.xml.XmlSerDe'
   WITH SERDEPROPERTIES(
   "column.xpath.NAME"="/TAG/NAME/text()",
   "column.xpath.AGE"="/TAG/AGE/int()",
   "column.xpath.SEX"="/TAG/SEX/text()")
   STORED AS INPUTFORMAT 'com.ibm.spss.hive.serde2.xml.XmlInputFormat'
   OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat'
   LOCATION '/home/sid/hivexmltab'
   TBLPROPERTIES("xmlinput.start"="<TAG","xmlinput.end"="</TAG>");

我的输入文件格式如下:

<TAG>
 <NAME>ABCD</NAME><AGE>25</AGE><SEX>male</SEX>
 <NAME>EFGH</NAME><AGE>23</AGE><SEX>female</SEX>
</TAG>

我想看到如下输出:

ABCD,25,male
EFGH,23,female

但我得到如下输出:

<string>ABCDEFGH</string>   NULL    <string>malefemale</string>

我正在使用 jar 文件:用于 Xml SerDe 的 hivexmlserde-1.0.5.3.jar

谁能告诉我我在这里犯的错误是什么？ 感谢您的帮助。

最佳答案

这是一个糟糕的 XML 结构...
<NAME>...</NAME><AGE>...</AGE><SEX>...</SEX> 的任意组合应该用一个额外的标签包裹。 

CREATE EXTERNAL TABLE MYDATA
(
    NAME    array<string>
   ,AGE     array<int>
   ,SEX     array<string>    
)
    ROW FORMAT SERDE 'com.ibm.spss.hive.serde2.xml.XmlSerDe'
    WITH SERDEPROPERTIES
    (
        "column.xpath.NAME" = "TAG/NAME/text()"
       ,"column.xpath.AGE"  = "TAG/AGE/text()"
       ,"column.xpath.SEX"  = "TAG/SEX/text()"
    )
    STORED AS 
    INPUTFORMAT     'com.ibm.spss.hive.serde2.xml.XmlInputFormat'
    OUTPUTFORMAT    'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat'
    LOCATION        '/home/sid/hivexmltab'
    TBLPROPERTIES
    (
        "xmlinput.start" = "<TAG"
       ,"xmlinput.end"   = "</TAG>"
    )
;

select * from MYDATA
;

+-----------------+------------+-------------------+
|     a.name      | mydata.age |    mydata.sex     |
+-----------------+------------+-------------------+
| ["ABCD","EFGH"] | [25,23]    | ["male","female"] |
+-----------------+------------+-------------------+

select  NAME[pe.n]  as name
       ,AGE [pe.n]  as age
       ,SEX [pe.n]  as sex

from    MYDATA m
        lateral view posexplode (m.NAME) pe as n,x
;

+------+-----+--------+
| name | age |  sex   |
+------+-----+--------+
| ABCD |  25 | male   |
| EFGH |  23 | female |
+------+-----+--------+

关于hadoop - 将 XML 数据加载到配置单元表时出错，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42534325/

时出配置单34codelthadoophive

有关hadoop - 将 XML 数据加载到配置单元表时出错的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  5. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  6. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg

  7. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  8. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  9. 使用 ACL 调用 upload_file 时出现 Ruby S3 "Access Denied"错误 - 2

    我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常，除了该文件不是公开可用的，而且我无法获得它的公共(public)URL。但是当我登录到S3时，我可以正常查看我的文件。为了使其公开可用，我将最后一行更改为obj.upload_file(file

  10. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

随机推荐