草庐IT

hive-overwrite

全部标签

hadoop - 如何在 Hive 的 SELECT 语句中提取定界值右侧的字符

我需要提取“/”右侧的所有字符作为选择语句的一部分。cityAmerica/ChicagoEurope/London预期输出是citynameChicagoLondon这是我的查询,它不起作用selectsubstring(city,charindex('/',city)+1,length(city))ascitynamefromtable; 最佳答案 您可以使用正则表达式来提取城市名称。使用正则表达式,您的查询将是这样的。selectregexp_extract(city,'([a-zA-Z]+)',1)fromtable_nam

hadoop - 在 Hive 中授予权限

我正在尝试使用HortonworksSandboxHDP2.2作为单节点系统在Hive14.0上设置授予权限。这个问题类似于3月份未回答的问题:grantpermissionsinhivedoesnotworkonhdp2.2.我遵循了aHive-Wiki的配置步骤.登录到hiveshell(使用root的ssh)后,我尝试了:CREATEROLEtesting;FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.Failedtoretrieverolesforroot:Metastor

Hadoop - Hive 2 ParseException - 无法识别表达式规范中 'over' '(' 'partition' 附近的输入

自从升级到Hive2后,我查询中的这一行失败了FAILED:ParseExceptionline41:50cannotrecognizeinputnear'over''(''partition'inexpressionspecificationselecttempTable.*,(tempTable.rowrank-1)/(max(tempTable.tableRowRank))over(partitionbytempTable.column1)percent这在HiveServer1中工作正常???????? 最佳答案 刚刚解决了

c# - 如何在查询中将 .net DateTime.Ticks 转换为 Hive DateTime?

我的日志文件在DateTime.Ticks(635677577653488758)中有一个列,我正在尝试将其转换为HadoopHive中的日期。首先,我在MySql上尝试了下面的代码块,它成功了。但是相同的代码在Hive中不起作用,因为date_add函数适用于INT。SELECTDATE_ADD('2001-01-0100:00:00',INTERVAL(MAX(f.date)-631139040000000000)/10MICROSECOND);然后我会这样格式化...SELECTDATE_FORMAT(MyDateFromTicks,'%Y-%m-%dT%T.%fZ');我怎样才

hadoop - 使用 EsStorageHandler 在 Hive 中创建外部表时出错

我在创建外部表以将数据从Hive推送到ElasticSearch时遇到错误。到目前为止我做了什么:1)ElasticSearch-1.4.4设置成功并运行。2)Hadoop1.2.1搭建成功,所有守护进程都启动并运行。3)成功设置Hive-0.10.0。4)在Hadoop/lib和Hive/lib中配置elasticsearch-hadoop-1.2.0.jar。p>5)在Hive中成功创建了几个内部表。执行以下命令时出现错误:CREATEEXTERNALTABLEdrivers_external(idBIGINT,firstnameSTRING,lastnameSTRING,vehi

mysql - GROUP BY 和加入 HIVE

我怎样才能在HIVE中做这样的事情:表1:IDNameFriends1Tom5表2:IDNameDOB1Jerry10/10/19991KateNull1Peter02/11/19831RobertNull1Mitchell09/09/2000我想做的是:对于表1中的每个ID,找出num个不为空的DOB,然后除以Friends我写了一个查询:SELECTt.ID,t.Friends,COUNT(s.DOB)/t.FriendsfromTable1tjoinTable2son(t.ID=s.ID)GROUPBYt.ID当我这样做时,我收到错误消息,因为FRIENDS不是GROUPBYKe

sorting - Hive 分配方式与不分配方式

这听起来很基础,但这个问题困扰了我一段时间。假设我有以下查询SELECTs.ymd,s.symbol,s.price_closeFROMstockssSORTBYs.symbolASC;在这种情况下,如果数据在符号列上分布良好,那么基于符号列进行分布是有意义的,这样所有reducer都能很好地共享数据;将查询更改为以下内容会提供更好的性能SELECTs.ymd,s.symbol,s.price_closeFROMstockssDISTRIBUTEBYs.symbolSORTBYs.symbolASC,s.ymdASC;如果我不指定distributeby子句会有什么影响?在第一个查询中

bash - 从 Apache Hive 运行 bash 别名

我正在尝试在Hadoop机器上创建一个别名并从HiveJVM运行它。当我使用!显式地从Hive运行命令时前缀它有效,但是当我添加别名、获取.bashrc文件并从Hive调用别名时,出现错误。示例:.bashrc内容:#EnvironmentvariablesrequiredbyhadoopexportJAVA_HOME=/usr/lib/jvm/java-7-oracleexportHADOOP_HOME_WARN_SUPPRESS=trueexportHADOOP_HOME=/home/hadoopexportPATH=$PATH:/home/hadoop/binaliasload-

hadoop - 执行 Hive 查询时获取权限被拒绝错误

在连接到直线时执行selectcount(*)fromtablename查询时出现以下错误。ERROR:JobSubmissionfailedwithexception'org.apache.hadoop.security.AccessControlException(Permissiondeniedatorg.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkOwner(FSPermissionChecker.java:201)我可以执行showtables;成功但每当我执行查询时都会收到此错误。我以有权访问had

hadoop - Jaspersoft Hive 日期参数问题

我正在使用JasperSoftStudio连接到Hive并传递带有动态日期的查询。该报告应该在昨天的日期进行查询。我在JasperSoftStudio数据集和查询对话框中使用动态时遇到问题。以下查询从Hive命令行运行,但JasperSoftStudio似乎无法识别命令“date_sub”和“unix_timestamp()”。我正在使用JasperSoftStudio6.1版。SELECTcol1,count(col2),count(col3)FROMtable1WHEREdate=date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd