草庐IT

hadoop - 将日期 '11/2/2014' (mm/d/yyyy) 转换为配置单元中的时间戳

我想使用Hive将日期“11/2/2014”转换为时间戳。此日期为字符串格式。我尝试了很多方法,但我得到的是NULL值。 最佳答案 这是语法:CAST(FROM_UNIXTIME(UNIX_TIMESTAMP(,'MM/dd/yyyy'))asTIMESTAMP)您总是需要转到unix_timestamp,然后从unix时间戳转换为普通时间戳。它看起来不太好,但它确实有效。只是检查一下,可能是您的语法正确但格式错误。也许您的格式是dd/MM/yyyy?这就是为什么你应该让我们尝试让它下次工作的原因。

scala - 使用 SqlContext 连接 Hive 表

我的问题对你们大多数人来说可能听起来很愚蠢,但我需要使用spark-scala在我的配置单元表中执行一些操作,为此我想知道我是否可以使用SqlContext来读取hive表。我知道HiveContext但我想使用SqlContext。 最佳答案 正如评论中提到的@BinaryNerd:HiveContextextendsSQLContext所以当你使用类型安全的语言(Java)时,你可以这样声明你的SQLContext:SQLContextsqlContext=newHiveContext(sc)

hadoop - Hive外部表能否智能识别分区?

每当我需要挂载分区时,我都需要运行它。有没有一种方法可以自动检测外部配置单元表中的分区,而不是我手动执行它ALTERTABLETableNameADDIFNOTEXISTSPARTITION()location'locationpath'; 最佳答案 恢复分区(MSCK修复表)https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)MSCKREPAIR

hadoop - hive 字符串中的右字符

在hive中没有获取字符串左右部分的命令。对于Left,不难找到解决方法:SELECTSUBSTR('abcdefgh',1,2);ab提取字符串右侧两个字符的最优雅方法是什么? 最佳答案 显然可以在SUBSTR中使用负数,这样你就可以得到相关的子字符串,如下所示:SELECTSUBSTR('abcdefgh',-2,2);gh 关于hadoop-hive字符串中的右字符,我们在StackOverflow上找到一个类似的问题: https://stackove

hadoop 停留在 “running job”

我想从doc运行hadoop字数统计程序.但是程序卡在了runningjob16/09/0210:51:13WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable16/09/0210:51:13INFOclient.RMProxy:ConnectingtoResourceManagerat/0.0.0.0:803216/09/0210:51:13WARNmapreduce.JobResourceUploader:

hadoop - unix_timestamp 问题

我必须将一个字段填充为9999-12-31,因为我正在使用以下语句。但是当我检查结果时,它给出了9998-12-2700:00:00选择from_unixtime(unix_timestamp('9999-12-31','YYYY-MM-DD'))结果:9998-12-2700:00:00 最佳答案 你应该像这样使用它:Selectfrom_unixtime(unix_timestamp('9999-12-31','yyyy-MM-dd')); 关于hadoop-unix_timesta

sql - 在配置单元 SQL 中聚合点击流数据(组中的第一个值)CTE SQL

我正在使用ApacheHiveSQL分析来自不同网站的网站数据,我想找出客户旅程中涉及的域。点击流数据具有以下结构:id1domain------111111131112343535676667为了以正确的方式分析数据,我想将数据转换成这种结构:id1domain------111311123435676667这怎么能在HIVESql中完成?我必须找出哪个接触点涉及哪个序列/顺序,并消除域之间的冗余点击。最终这个洞查询应该导致这样的表:1:1>3>1>23:4>56:7>6>7我不会说这是一个特定于hive的问题! 最佳答案 在sq

oracle - 在 Hive SQL 中为每个 ID 查找 3 分钟组

我有这样的数据,IDtime19/6/201600:01:0019/6/201600:01:3019/6/201600:02:0019/6/201600:04:3019/6/201600:05:3019/6/201601:05:3019/6/201605:05:3019/6/201605:06:3029/6/201601:55:0029/6/201601:56:2929/6/201601:57:3129/6/201603:55:0029/6/201604:13:0029/6/201604:15:21对于每个ID,我想将一个名为flag的新变量设置为1并检查时间的第一个值。从第一个时间值

java - hive 计数 * 内存不足

hive>selectcount(*)fromipaddresswherecountry='China';WARNING:Hive-on-MRisdeprecatedinHive2andmaynotbeavailableinthefutureversions.Considerusingadifferentexecutionengine(i.e.tez,spark)orusingHive1.Xreleases.QueryID=pruthviraj_20160922163728_79a0f8d6-5ea6-4cb5-8dd2-d3bb63f8baafTotaljobs=1Launching

hadoop - 无法通过 Hive 1.2 中的 alter table 恢复分区

我无法在配置单元1.2上运行ALTERTABLEMY_EXTERNAL_TABLERECOVERPARTITIONS;,但是当我运行替代方案时MSCKREPAIRTABLEMY_EXTERNAL_TABLE它只是列出了分区'在HiveMetaStore中并且没有添加它。根据hive-exec的源代码,我可以在org/apache/hadoop/hive/ql/parse/HiveParser.g:1001:1下看到语法中没有用于RECOVER的标记匹配分区。如果有办法在Hive1.2上创建外部表后恢复所有分区,请告诉我。ALTERTABLEMY_EXTERNAL_TABLERECOVE