草庐IT

hive-overwrite

全部标签

sql - 如何在 Presto/Hive 中将日期格式 YYYY-MM-DD 转换为整数 YYYYMMDD?

如何在Presto/Hive中将格式为YYYY-MM-DD的日期CONVERT为整数YYYYMMDD?我正在尝试将下面的列表转换为YYYYMMDD整数WITHall_datesas(SELECTCAST(date_columnASDATE)date_columnFROM(VALUES(SEQUENCE(FROM_ISO8601_DATE('2017-07-01'),FROM_ISO8601_DATE('2017-11-15'),INTERVAL'1'DAY)))ASt1(date_array)CROSSJOINUNNEST(date_array)ASt2(date_column))我试

configuration - 为 Hive 中的 INSERT OVERWRITE SELECT 指定压缩编解码器

我有一个像这样的hive表CREATETABLEbeacons(foostring,barstring,foonotbarstring)COMMENT"Digestofdailybeacons,byday"PARTITIONEDBY(daystringCOMMENt"InYYYY-MM-DDformat");为了填充,我正在做类似的事情:SEThive.exec.compress.output=True;SETio.seqfile.compression.type=BLOCK;INSERTOVERWRITETABLEbeaconsPARTITION(day="2011-01-26")S

hadoop - Hive 1.1.0 将表分区类型从 int 更改为 string

我有一个表,它有一个int类型的分区,但我想将其转换为字符串。但是,我不知道该怎么做。表的描述是:Col1timestampCol2stringCol3stringCol4stringPart_colint#Partitioninformation#col_namedata_typecommentPart_colint我创建的分区是Part_col=0,Part_col=1,...,Part_col=23我想将它们更改为Part_col='0'等我在配置单元中运行这个命令:sethive.exec.dynamic.partitions=true;Altertabletbl_namepa

hadoop - Hive 命令执行 NOT IN 子句

我有两个表,tab1和tab2。tab1(T1)tab2(T2)a1b1b1c1c1f1d1g1我正在寻找表T1中不存在于T2中的值。在这种情况下,输出应该是a1d1我已尝试使用以下查询,但无法获得正确的解决方案。selectdistincttab1.T1fromtab1leftsemijointab2on(tab1.T1!=tab2.T2); 最佳答案 SELECTt1.strFROMtab1t1LEFTOUTERJOINtab2t2ONt1.str=t2.strWHEREt2.strISNULL;结果:OKa1d1“Whyist

hadoop - Hive 是否可以在不分区或不编辑 hive-site.xml 的情况下递归下降到子目录?

我有一些Web服务器日志,我想用Hive查询。HDFS中的目录结构如下所示:/data/access/web1/2014/09/data/access/web1/2014/09/access-20140901.log[...etc...]/data/access/web1/2014/10/data/access/web1/2014/10/access-20141001.log[...etc...]/data/access/web2/2014/09/data/access/web2/2014/09/access-20140901.log[...etc...]/data/access/we

hadoop - 在 Hive 中将日期作为命令行参数传递

我在test1.hql文件中有以下查询。我正在尝试将date(dt)作为命令行参数传递。select*fromlip_data_qualitywheredt='${hiveconf:start_date}';所以每当我尝试像这样从shell提示符运行上面的test1.hql文件时-hive-fhivetest1.hql-hiveconfstart_date=20120709我得到零条记录。但是该特定日期的数据在该表中。为什么会这样?我做错了什么?有人可以帮我吗?我在关注Bejoy'sArticle我正在使用Hive0.6 最佳答案

Hadoop/Hive - 将单行拆分为多行

我正在尝试找到一种方法,根据分隔的列将Hive中的一行拆分为多行。例如取一个结果集:ID1Subs11,222,3返回:ID1Subs11122223我在http://osdir.com/ml/hive-user-hadoop-apache/2009-09/msg00092.html找到了一些路标,但是我无法提供足够的详细信息来指出解决方案的方向,而且我不知道如何设置转换函数以返回一个可以拆分行的对象。 最佳答案 试试这个写法SELECTID1,SubFROMtableNamelateralviewexplode(split(Sub

hadoop - Sqoop Hive 表导入,表数据类型与数据库不匹配

使用Sqoop将数据从oracle导入到hive,它工作正常,但它在hive中创建的表只有2个数据类型String和Double。我想将timeStamp用作某些列的数据类型。我该怎么做。bin/sqoopimport--tableTEST_TABLE--connectjdbc:oracle:thin:@HOST:PORT:orcl--usernameUSER1-passwordpassword-hive-import--hive-home/user/lib/Hive/ 最佳答案 除了上述答案外,我们可能还需要观察错误何时出现,例如

hadoop - 使用 Hive 查询计算 Hadoop 中连续记录之间的差异

我有一个Hive表,用于保存客户调用的数据。为简单起见,假设它有2列,第一列包含客户ID,第二列包含调用的时间戳(unix时间戳)。我可以查询此表以查找每个客户的所有调用:SELECT*FROMmytableSORTBYcustomer_id,call_time;结果是:Customer1timestamp11Customer1timestamp12Customer1timestamp13Customer2timestamp21Customer3timestamp31Customer3timestamp32...是否可以创建一个Hive查询,从第二次调用开始,为每个客户返回两次连续调用

hadoop - 无法在从 HDFS 读取 CSV 的 HIVE 中创建表

通过从HDFS读取.csv文件在Hive中创建表时遇到问题。查询如下:CREATEEXTERNALTABLEtestmail(memberIdString,emailString,sentdateString,actiontypeString,actiondateString,campaignidString,campaignnameString)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LOCATION'/user/hadoop/cloudera/ameeth/ca_email.csv';获取错误。元数据错误:MetaException(messa