我正在使用hive0.10以及何时使用hive-e"showtables",hive-e"desctable_name"itworks!但是当我执行类似hive-e"selectcount(*)table_name使用旧版本的配置单元和新集群抛出此错误。调试此类问题的正确方法应该是什么,没有从谷歌找到任何解决问题的方法。java.lang.IllegalArgumentException:CannotcreateaPathfromanemptystringatorg.apache.hadoop.fs.Path.checkPathArg(Path.java:91)atorg.apache
我正在使用HortonworksHadoopHDP-2.3.2.0-2950在Tez引擎上hive以下2个查询来自Java代码。select*fromascii--效果很好selectcount(*)fromascii或selectcount(1)fromascii--失败,错误输出我的代码:packagecom.hadoop.hive;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;importjava.sql.ResultSet;importjava.sq
我有一个配置了hadoop2.7.2和hive2.1.0的hadoop集群。我正在使用beeline通过以下命令连接到配置单元:beelinebeeline>!connectjdbc:hive2://localhost:10000Enterusernameforjdbc:hive2://localhost:10000:首先,键入任意用户名都可以成功连接到hive。但是,配置以下设置后,出现错误。//withinhive-site.xmlandhiveserver2-site.xmlhive.server2.enable.doAstrueSettingthispropertytotrue
总结:我觉得我的系统忽略了预排序表的概念。-我希望在排序步骤上节省时间,因为我正在使用预先排序的数据,但查询计划似乎表明中间排序步骤。肮脏的细节如下:设置=======我设置了以下标志:=============sethive.enforce.bucketing=true;setmapred.reduce.tasks=8;setmapred.map.tasks=8;这里我创建了一个表来保存磁盘上的临时数据副本========CREATETABLEtrades(symbolSTRING,exchangeSTRING,priceFLOAT,volumeINT,condINT,bidFLOA
我想在我的Ubuntu上安装Hive。我阅读了this文章,对我帮助很大。我做了除第4步以外的所有步骤。我不明白这一步应该做什么。你能详细解释一下这一步吗? 最佳答案 第1步:下载并提取HadoopStep2:SetJAVA_HOMEpathtoconf/hadoop-env.sh//这一步是为hadoop设置java路径第3步:conf/core-site.xml:fs.default.name//Placeyourhomefolderhereforusinghadoophdfs://localhost:9000第4步:conf/
如何使用Sqoop将数据从关系数据库导入沙盒中的Hive。我在我的电脑上安装了HortonWorks沙箱。Nw我想知道这个迁移。我已经引用了这个链接http://hortonworks.com/kb/using-apache-sqoop-for-data-import-from-relational-dbs/但我有些疑惑1、运行需要Sqoop软件吗?2,在上面提到的链接中有一些代码,我将把这段代码放在哪里?在Hive查询窗口中?3、是否可以完全迁移数据库(或仅按时间表迁移)?4、存储过程和Viwes我将把所有这些都保存在哪里? 最佳答案
为什么hive不支持存储过程?如果它不支持那么我们将如何处理Hive中的Sp?有任何替代解决方案吗?(因为我们已经在mssql中有一个数据库)HBASE呢?支持SP吗? 最佳答案 首先,Hadoop或Hive不是SQLDB的替代品。您绝不能考虑将这2个中的任何一个用作RDBMS的替代品。Hive的开发只是为了在现有Hadoop集群之上提供仓储功能,考虑到大量的SQL用户,包括专家数据库设计人员和管理员,以及使用SQL从其数据仓库中提取信息的临时用户.尽管它为您提供了类似SQL的界面,但它不是SQL数据库。Hive最适合数据仓库应用程
我想以普通可读文本格式将Spark数据帧存储到Hive表中。为此,我首先做了sqlContext.sql("SETspark.sql.hive.convertMetastoreParquet=false")我的DataFrame是这样的:final_data1_df=sqlContext.sql("selecta,bfromfinal_data")我正在尝试通过以下方式编写它:final_data1_df.write.partitionBy("b").mode("overwrite").saveAsTable("eefe_lstr3.final_data1")但这很慢,甚至比HIVE写
我现在已经广泛使用Hive,我想知道是否有一种方法可以改进以下工作流程。每天晚上,来self们Oracle集群的制表符分隔的未压缩文本文件转储被写入HDFS,由Hive处理。我这样加载表格:CREATEEXTERNALTABLEACCOUNTINGTABLE(tsSTRING,duidSTRING,ownerSTRING,hiddenSTRING,lgroupSTRING,nbfilesINT,lengthBIGINT,replicasINT,provenanceSTRING,stateSTRING,campaignSTRING,rlengthBIGINT,rnbfilesINT,ro
如何为配置单元jdbc连接添加超时。当配置单元挂起时,我的应用程序等待来自配置单元的响应。我需要的是,在某个指定时间(可能是几分钟)之后,我的应用程序需要停止从配置单元连接中监听,完成其余的工作。 最佳答案 在您的配置单元配置文件中使用此属性。hive.stats.jdbc.timeout30Timeoutvalue(numberofseconds)usedbyJDBCconnectionandstatements.这将用于登录超时和查询超时。如果您的查询时间超过30秒或配置的秒数,它将返回。