草庐IT

hive-overwrite

全部标签

sql - Teradata 和 HIVE 之间的字符串匹配差异

我正在进入Hive并学习Hive。我在teradata中有客户表,使用sqoop在hive中提取完整表,效果很好。请参阅下面的Teradata和HIVE客户表。在Teradata中:selectTOP4id,name,'"'||status||'"'fromcustomer;3172460Customer#003172460"BUILDING"3017726Customer#003017726"BUILDING"2817987Customer#002817987"COMPLETE"2817984Customer#002817984"BUILDING"在HIVE中:selectid,na

hadoop - 在脚本中运行脚本? - Hive(和其他 QL)

是否可以在运行脚本的其余部分之前调用脚本并运行它?我的目标是执行一个设置脚本,该脚本将下载和组织执行我的主要查询所需的数据。我正在寻找类似的东西:createtablelogcontent(contentstring)rowformatdelimitedfieldsterminatedby'\n';**callsecondaryhivescriptwithdate-rangeargumentsanddownloadnecessarylogsinto****performtherestofthequery**我想这样做是为了为表格设置创建一个很好的抽象,以便最终用户不必担心表格设置,这将

hadoop - Fiware Cosmos Hive 授权问题

我正在使用FiwareCosmos的共享实例(意思是我没有root权限)。直到今天,我已经成功地使用jdbc和HiveCLI远程访问和管理了hive中的表。但是现在我在启动HiveCLI时遇到了这个错误:log4j:ERRORCouldnotinstantiateclass[org.apache.hadoop.hive.shims.HiveEventCounter].java.lang.RuntimeException:Couldnotloadshimsinclassorg.apache.hadoop.log.metrics.EventCounteratorg.apache.hadoo

超详细的hive和mysql的安装与配置以及hive服务启动脚本

目录一、说明二、Hive安装与配置1.上传文件并解压2.修改目录名称3.配置hive环境变量4.删除冲突jar包5.启动hadoop集群6.初始化元数据库并启动三、MySQL安装与配置1.检查和上传文件并解压四、hive服务启动脚本1.创建脚本2.修改权限3.脚本使用方法一、说明本文使用的hive为:hive-3.1.2mysql版本为:mysql-5.7.28mysql驱动版本为:mysql-connector-java-5.1.37本文采用本地安装模式二、Hive安装与配置1.上传文件并解压进入/opt/software/目录[root@bigdata2023master ~]$cd/op

hadoop - Hive 中的许多分区

对于“id”列,我有大约200,000个不同的值,我将它用作动态分区Hive表之一的分区键。现在分区已创建,当我尝试查询时(我使用了简单的Select*查询),它总是返回以下错误:FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:org.apache.thrift.transport.TTransportException:java.net.SocketTimeoutException:Readtimedout谁能告诉我为什么? 最佳答案

sql - Hive - Concat 字符串与行数据

我正在尝试使用Hive将字符串与表中的数据行连接起来。在SQL中看起来像这样SELECT'Select*from'+[Column]+';'FROMtable_nameORDERBY[table_name]结果应该是-SELECT*FROMabc;从asd中选择*;选择*从xyz..无法在Hive命令中编写或找到与此相关的内容。 最佳答案 使用concat()函数:'SELECTconcat('Select*from',[table_name],';')FROMyour_tableORDERBY[table_name]'如果[tab

hadoop - 声明 hivevar 时出现 Hive 错误

尝试在线使用Hue在Hive中声明一个变量。使用以下代码:SEThivevar:TABLE1=location.tablename;我收到以下错误消息:Errorwhilecompilingstatement:FAILED:ParseExceptionline1:12missingKW_ROLEat'hivevar'near'hivevar'line1:19missingEOFat':'near'hivevar'.谁能告诉我这个错误消息是什么意思,甚至KW_ROLE语句是什么意思? 最佳答案 您是否有机会在该说明上方发表评论?您是否

xml - 在 Hive 上使用 XPATH 获取 XML 节点的名称

我有一个xml文件如下:ToveJaniReminderDon'tforgetmethisweekend!在配置单元上,我能够使用xpath使用以下命令检索XML文档中每个节点的文本:selectxpath(xml_text,'//*[name()='note']//text()')fromtable_test;但是,我无法确定在Hive上使用哪个XPATH命令来检索文本的XML节点名称对于上面的例子,我希望能够返回["to","from","heading","body"],表示XML文件中标记的XML节点。任何帮助表示赞赏。 最佳答案

hadoop - 带时区的 HIVE 日期时间格式

我有一个unix时间戳,它在插入到sqlserver数据库之前使用HIVE中的View进行转换。我遇到的问题是我需要正确的格式才能将其插入到sqlserver中的datetimeoffset(2)字段中。这是hive中的一个例子:Query:selectfrom_unixtime(1413587962,'yyyy.MM.ddhh:mm:ssz');Result:2014.10.1711:19:22UTCSQL服务器无法隐式转换该格式。如果我运行这是SQL服务器:Query:SELECTCONVERT(DATETIMEOFFSET(2),'2014.10.1711:19:22UTC')R

sql - Hive 复杂类型来处理一对多关系

如何使用Hive复杂类型处理一对多关系?例如,给定两个表:artist:artist_id,first_name,last_namesong:song_id,song_name,song_date,artist_id如何编写hiveql或sql以将歌曲集合包含到独特的艺术家中,即例如112,drew,jackson,{10:[hill,1992],13:[away,2011],....}113,maria,mcmillan,{25:[denial,2000],26:[fly,1990],....} 最佳答案 selecta.arti