草庐IT

java - Hive jdbc 驱动程序以非描述性消息响应

我准备了使用hivejdbc客户端调用HadoopDB的java应用程序。当我尝试做简单的查询时,比如“select*fromstudents”,它工作正常。但是一旦我添加了一些条件语句(例如,whereage>10),它就会开始响应异常,如下所示:Causedby:java.sql.SQLException:Queryreturnednon-zerocode:2,cause:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTaskatorg.apache.hadoop.hive.

mongodb - MongoDb 日期的 hive 类型转换

我正在将Hive链接到具有日期的MongoDb集合。MongoDB集合的结构如下所示:{"name":"UsingHive","validFrom":ISODate("2014-11-04T00:00:00.000Z"),"validTo":ISODate("2016-01-30T00:00:00.000Z"),"_id":ObjectId("54da1c02ead8571c292901d3")}我将其添加到Hive中,如下所示:CREATETABLEcertificate(nameSTRING,validFromTIMESTAMP,validToTIMESTAMP,idSTRING)

java - 为什么 Hive 和 HiveServer2 需要 mapred.InputFormat?

我只是想确保我没有遗漏任何东西。我正在为Hive开发一个InputFormat来处理我们特定的hdfs文件格式。我刚刚意识到它需要扩展mapred.InputFormat而不是mapreduce.InputFormat这样对吗?或者我错过了什么?我可以使用mapreduce包中的FileInputFormat吗? 最佳答案 您将不得不使用mapred.InputFormatHive尚未完全迁移到新包。如果您出于任何原因需要/想要使用mapreduce.InputFormat包,您始终可以包装mapreduce.InputFormat

java - Hive StorageHandler 抛出异常 "Configuration and input path are inconsistent"

我有一个HiveStorageHandler如果我执行select*frommyTable它会返回底层存储中的所有行。当我执行类似selectcol1frommyTable的操作时,底层mapreduce作业会抛出异常:java.lang.RuntimeException:Errorinconfiguringobjectatorg.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)atorg.apache.hadoop.util.ReflectionUtils.setConf(Reflectio

hadoop - 我可以使用 Presto 创建 Hive 元存储吗?

基本问题:我可以使用Presto作为我的HiveMetastore的基础吗?我正在尝试在亚马逊aws上安装presto和hive,但在创建Hive元存储时遇到了问题。除了无法连接到Metastore之外,Presto似乎已安装并正常工作。问题是当我运行Hive时,它​​无法创建Metastore。当我运行Hive时,出现以下错误:Exceptioninthread"main"java.lang.RuntimeException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata

hadoop - 从 Hive 插入到 Hbase 时出错

我正在使用CDH4.7.1集群。map似乎已完成100%,但减少部分失败。我已将以下部分添加到hive-site.xml。实际错误消息粘贴在本文的最后部分。谢谢。任何帮助表示赞赏。hive.aux.jars.pathfile:///opt/cloudera/parcels/CDH/lib/hbase/hbase.jar,file:///opt/cloudera/parcels/CDH-4.7.1-1.cdh4.7.1.p0.47/lib/hive/lib/hive-hbase-handler-0.10.0-cdh4.7.1.jar,file:///opt/cloudera/parcel

hadoop - 无法删除损坏的 Hive 表

我在Hive中创建的两个表有问题。我使用创建了两个表像other_table一样创建TABLE表;然后尝试使用将存储格式更改为ORCALTERTABLE表SETFILEFORMATORC;这显然损坏了表,因为它们现在在访问时抛出表未找到的错误。然而,他们仍然出现在一个有展示台的地方;陈述。现在,我不能删除表或创建具有相同名称的新表。这是HiveCLI的直接输出:hive>showtables;OKbk_new_profile_eventsbk_new_profilesTimetaken:0.245seconds,Fetched:19row(s)hive>droptablebk_new_

java - Hive - Beeline - 如何将异常从 fileinputformat 传递到 beeline

我的FileInputFormat有时会抛出异常,我希望用户看到来自异常的消息。有没有办法通知直线异常。它只是显示Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MapRedTask(state=08S01,code=1) 最佳答案 如果您将--verbose=true和--showNestedErrs=true标志添加到您的beeline调用中,Beeline将提供更多错误消息.

hadoop - HIVE 更新语句中的多个表引用

我给出了在RDBMS中完美运行的更新语句,但在HIVE中不起作用。目前在HIVE中,您不能引用多个表(如查询TABLETableA,TableB引用)UPDATEAFROMTableAA,TableBBSETDepartmentId=B.DepartmentIdWHEREA.CustomerId=B.CustomerId;我需要你的帮助,我怎样才能在HIVE中实现同样的目标?HIVE中可能的替代方案? 最佳答案 由于Hive不支持行级插入和更新,因此几乎没有解决方法。上面提到的答案就是这样一个。一种方法是做同样的事情,然后再次将覆盖

hadoop - Hive 查询语言仅返回与另一个表中的值不同的值

我正在尝试在我的主机表中查找所有值,这些值不包含与我的邮件域表中的值部分匹配的值。hosts+-------------------+-------+|host|score|+-------------------+-------+|www.gmail.com|489||www.hotmail.com|653||www.google.com|411||w3.hotmail.ca|223||stackexchange.com|950|+-------------------+-------+maildomains+---------------+|email|+-------------