草庐IT

test_hive

全部标签

java - hive在哪里运行以及JVM的作用

我有点怀疑。我一直在阅读有关HIVE的内容。我脑子里有以下问题WhetherHIVErunsonjavavirtualmachine(JVM)?我用谷歌搜索但找不到任何答案。谁能给我解释一下 最佳答案 是的。所有Hive组件都是运行在JVM上的Java代码。这包括HiveServer、HiveServer2、Metastore、HiveCLI、查询处理,几乎所有内容。出于所有实际目的,没有JVM就无法运行Java代码。 关于java-hive在哪里运行以及JVM的作用,我们在StackO

arrays - 如何在 Hive 的数组中搜索项目?

我使用Hive创建了一个包含以下字段的表:IDBIGINT,MSISDN字符串,DAYTINYINT,MONTHTINYINT,年份,性别TINYINT,RELATIONSHIPSTATUSTINYINT,教育字符串,LIKES_AND_PREFERENCES字符串这是通过以下SQL命令填充数据的:Insertoverwritetabletemp_outputSelecta.ID,a.MSISDN,a.DAY,a.MONTH,a.YEAR,a.GENDER,a.RELATIONSHIPSTATUS,b.NAME,COLLECT_SET(c.NAME)FROMtemp_basic_inf

regex - 使用点 '.' 的拆分无法使用 hive -e ""即使在放置双斜线之后

我使用以下查询来解析以点('.')分隔的数据。从配置单元控制台触发时,以下查询工作正常。我得到了这样的正确值:v=WijimLM4Khb5YUVrh7kl4bOWxYtIOtZwTRJ13977555161397755721139775573919但是当我使用hive-e""使用相同的查询时。它无法解析数据,解析列结果为空。nullnullnullnullnullnullnull查询:selectsplit(regexp_extract(cookie,'v=[^&\n\;\"]*',0),'\\.')[0],split(regexp_extract(cookie,'v=[^&\n\;\

hadoop - hdfs snapshot可以用来恢复hive吗

知道hive使用metastore和hdfs,是否可以将从正在运行的hadoop-hive集群获取的hdfs快照恢复到新的hadoop-hive集群?我认为必须执行的一个步骤是在hive中再次创建表,但是这些表会自动连接到快照文件吗?有关此主题的一个链接位于ApacheMailArchives.我希望对此是否有更新或更好的答案。 最佳答案 Hive使用2(元数据+hdfs中的仓库数据)试一试:(没查过,请注意)1)使用dstcp将当前Hadoop-hiveCluster中的hive仓库数据复制到新的Hadoop-hiveCluste

hadoop - 带参数的 Hive UDF

我想编写一个可以接受常量参数的自定义UDF(UDAF/UDTF)。比如我要写一个函数MAX(COL,i),其中COL是求最大值的集合,i是位置(即i=1,求最大值,i=2,找到第二高等),使得Hive查询看起来像:SELECTMAX(value,2)FROMtable;这不仅适用于MAX,所以我需要一种能够执行此操作的通用方法,因此无法从已排序的集合中进行排序和选择。 最佳答案 您可以使用ConstantObjectInspectors获取作为参数传递的常量值。在GenericUDF的initialize()方法或GenericUD

hadoop - Hive 中的范围分区

Hive是否支持范围分区?我的意思是hive是否支持如下内容:insertoverwritetabletable2PARTITION(employeeIdBETWEEN2001and3000)selectemployeeNameFROMemp10whereemployeeIdBETWEEN2001and3000;其中table2和emp10有两列:员工姓名&员工编号当我运行上面的查询时,我遇到了一个错误:FAILED:ParseExceptionline1:56mismatchedinput'BETWEEN'expecting)near'employeeId'indestination

【Hive】——DQL

1SELECT1.1语法从哪里查询取决于FROM关键字后面的table_reference。可以是普通物理表、视图、join结果或子查询结果。[WITHCommonTableExpression(,CommonTableExpression)*]SELECT[ALL|DISTINCT]select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_lis

hadoop - 在 Hive 表中插入覆盖分区 - 值重复

我创建了一个包含非分区表的Hive表,并使用选择查询将数据插入到分区Hive表中。Referedsite通过上面的链接,我的分区表包含重复值。以下是设置这是我的示例员工数据集:link1我尝试了以下查询:link2但是在更新Hive表中的值之后,将EmployeeID为19的Steven的薪水更新为50000。INSERTOVERWRITETABLEUnm_Parti_TrailPARTITION(Department='A')SELECTemployeeid,firstname,designation,CASEWHENemployeeid=19THEN50000ELSEsalaryE

arrays - 将数据加载到 Hive 数组列

我有两个Hive表及其列,如下所示Tbl_CustomerIdNameTbl_CntctIdPhone一个Id可以有多个电话号码所以我有一张表Tbl_AllIdNamePhn_ListARRAY我的问题是如何将数据从Tbl_Custome和Tbl_Cntct加载到Tbl_All。我可以在PIG中执行此操作,但想在Hive中执行同样的操作。谢谢 最佳答案 InsertoverwritetableTbl_Allselectcus.id,cus.name,collect_set(ctc.phone)fromTbl_Customercusj

hadoop - Hive中如何使用DistCp直接将数据转表?

我正在使用DistCp将数据从集群1复制到集群2。我成功地将表数据从集群1复制到集群2。但是,使用hdfs,数据已发送到文件浏览器。是否有任何直接的方法可以通过使用DistCp命令将此hdfs数据转换为Hive表(包括数据类型、分隔符等)?我当然可以查询它以从hdfs收集数据,但是我必须将它们一个接一个地转换。试图寻找有效的方法。谢谢!示例:hadoopdistcphdfs://nn1:8020/source/ahdfs://nn1:8020/source/bhdfs://nn2:8020/destination 最佳答案 还没有找