草庐IT

scala - Spark-Scala HBase 表创建失败(MetaException(消息 :file:/user/hive/warehouse/src is not a directory or unable to create one)

我的VM中运行着hortonworks沙盒。我已经完成了所有的hive-site.xml配置并放置在Spark/conf文件中。我可以使用PySpark访问HBase并创建/更新表,但是当我在Scala中执行相同的实现时,会出现以下错误:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:file:/user/hive/warehouse/srcisnotadirectoryorunabletocreateone)我也更改了对“hive/war

hadoop - HIVE QUERY SELECT * FROM bookfreq where freq IN (SELECT Max(freq) FROM bookfreq);

我正在编写配置单元查询,因为获取记录具有最大频率值。tablenamebookfreq,havingtwocolumnyear&freqyearfreq19992200041989419905查询:SELECT*FROMbookfreqwherefreqIN(SELECTMax(freq)FROMbookfreq);我遇到了这样的异常FAILED:ParseExceptionline1:38cannotrecognizeinputnear'SELECT''Max''('inexpressionspecification 最佳答案 如

shell - 如果 Hive 失败则停止 Bash 脚本

我有一个循环遍历文件夹并处理所有*.hql文件的bash脚本。有时,其中一个配置单元脚本失败(语法、资源限制等),而不是脚本失败,它将继续到下一个.hql文件。无论如何,我可以阻止bash处理剩余的部分吗?下面是我的示例bash:foriin`ls${layer}/*.hql`;doecho"Processing$i..."hive${hiveconf_all}-hiveconfDATE=${date}-f${i}&if[$j-le5];thenj=$((j+1))elsewaitj=0fidone 最佳答案 我会检查前一个命令的进

sql - Teradata 和 HIVE 之间的字符串匹配差异

我正在进入Hive并学习Hive。我在teradata中有客户表,使用sqoop在hive中提取完整表,效果很好。请参阅下面的Teradata和HIVE客户表。在Teradata中:selectTOP4id,name,'"'||status||'"'fromcustomer;3172460Customer#003172460"BUILDING"3017726Customer#003017726"BUILDING"2817987Customer#002817987"COMPLETE"2817984Customer#002817984"BUILDING"在HIVE中:selectid,na

hadoop - 在脚本中运行脚本? - Hive(和其他 QL)

是否可以在运行脚本的其余部分之前调用脚本并运行它?我的目标是执行一个设置脚本,该脚本将下载和组织执行我的主要查询所需的数据。我正在寻找类似的东西:createtablelogcontent(contentstring)rowformatdelimitedfieldsterminatedby'\n';**callsecondaryhivescriptwithdate-rangeargumentsanddownloadnecessarylogsinto****performtherestofthequery**我想这样做是为了为表格设置创建一个很好的抽象,以便最终用户不必担心表格设置,这将

hadoop - Fiware Cosmos Hive 授权问题

我正在使用FiwareCosmos的共享实例(意思是我没有root权限)。直到今天,我已经成功地使用jdbc和HiveCLI远程访问和管理了hive中的表。但是现在我在启动HiveCLI时遇到了这个错误:log4j:ERRORCouldnotinstantiateclass[org.apache.hadoop.hive.shims.HiveEventCounter].java.lang.RuntimeException:Couldnotloadshimsinclassorg.apache.hadoop.log.metrics.EventCounteratorg.apache.hadoo

超详细的hive和mysql的安装与配置以及hive服务启动脚本

目录一、说明二、Hive安装与配置1.上传文件并解压2.修改目录名称3.配置hive环境变量4.删除冲突jar包5.启动hadoop集群6.初始化元数据库并启动三、MySQL安装与配置1.检查和上传文件并解压四、hive服务启动脚本1.创建脚本2.修改权限3.脚本使用方法一、说明本文使用的hive为:hive-3.1.2mysql版本为:mysql-5.7.28mysql驱动版本为:mysql-connector-java-5.1.37本文采用本地安装模式二、Hive安装与配置1.上传文件并解压进入/opt/software/目录[root@bigdata2023master ~]$cd/op

hadoop - Hive 中的许多分区

对于“id”列,我有大约200,000个不同的值,我将它用作动态分区Hive表之一的分区键。现在分区已创建,当我尝试查询时(我使用了简单的Select*查询),它总是返回以下错误:FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:org.apache.thrift.transport.TTransportException:java.net.SocketTimeoutException:Readtimedout谁能告诉我为什么? 最佳答案

sql - Hive - Concat 字符串与行数据

我正在尝试使用Hive将字符串与表中的数据行连接起来。在SQL中看起来像这样SELECT'Select*from'+[Column]+';'FROMtable_nameORDERBY[table_name]结果应该是-SELECT*FROMabc;从asd中选择*;选择*从xyz..无法在Hive命令中编写或找到与此相关的内容。 最佳答案 使用concat()函数:'SELECTconcat('Select*from',[table_name],';')FROMyour_tableORDERBY[table_name]'如果[tab

hadoop - 声明 hivevar 时出现 Hive 错误

尝试在线使用Hue在Hive中声明一个变量。使用以下代码:SEThivevar:TABLE1=location.tablename;我收到以下错误消息:Errorwhilecompilingstatement:FAILED:ParseExceptionline1:12missingKW_ROLEat'hivevar'near'hivevar'line1:19missingEOFat':'near'hivevar'.谁能告诉我这个错误消息是什么意思,甚至KW_ROLE语句是什么意思? 最佳答案 您是否有机会在该说明上方发表评论?您是否