草庐IT

Hive字符串转日期细节

日期函数:to_date();date_format();from_unixtime(unix_timestamp())测试数据:t1t22020/4/113:012020-04-01目的:将t1转成2020-04-01t2->2020/04/01方法(针对t1进行处理)from_unixtime(unix_timestamp(substr(t1,1,length(register_time)-5),'yyyy/MM/dd'),'yyyy-MM-dd')->2020-04-01方法(针对t2进行处理)date_format(t2,'yyyy/MM/dd')->2020/04/01代码案例1、s

HIVE选择题总结

1.Hive的元数据存储在derby和MySQL中有什么区别(B)WhatisthedifferencebetweenStoringHivemetadatainDerbyandMySQLA.没区别B.多会话(Moresession)C.支持网络环境D.数据库的区别2.Hive有四个驱动器,下面那个不是(C)Hivehasfourdrives,nottheonebelowA.解释器B.编译器C.策略器(Strategyimplement)D.优化器3.Hive执行外部的脚本参数是(B)TheexternalscriptparameterforHiveexecutionisA.hive–eB.hi

【HIVE常见操作一】

1.hive2.x新特性cast(nullasstring)asxx               --unionall前后表字段类型严格要求一致regexp_replace(ta.gds_nm,'\"','')asxx   --双引号需要转移2.相关sqlshowgrantondatabasexxx            --查看数据库权限showgrantontablexxx               --查看表权限sethive.exec.mode.local.auto=false;    --sethive.exec.mode.local.auto=false改成非本地模式重跑下tru

Hive之grouping sets用法详解

目录关键字:简单示例:实例一:presto中groupingsets函数关键字:GROUPINGSETS:根据不同的维度组合进行聚合,等价于将不同维度的GROUPBY结果集进行UNIONALLGROUPING__ID:表示结果属于哪一个分组集合,属于虚字段简单示例:关于groupingsets的使用,通俗的说,groupingsets是一种将多个groupby逻辑写在一个sql语句中的便利写法。createtabletemp.score_groupingasselectgrouping__id,---grouping__id是两个下划线class,sex,course,avg(score)fr

1/50 hive sql 日期处理函数

目录一、获取当前时间二、获取指定时间三、转换时间格式【1】to_date(stringtimestamp)【2】date_format(datestringtimestamp,stringformat)【3】from_unixtime(bigintunixtime,stringformat)【4】unix_timestamp(datestringtimestamp,stringpattern) 【5】其余格式的指定转换regexp_replace()、from_unixtime(unix_timestamp())【6】截取和拼接substr()、concat()四、计算时间函数 【1】日期加减

Hive中的map类型及其操作

–创建表,并定义map类型createtableemployee(idstring,perfmap)ROWFORMATDELIMITEDFIELDSTERMINATEDBY' 'COLLECTIONITEMSTERMINATEDBY','--map形式key:value,key:valueMAPKEYSTERMINATEDBY':';--map形式key:value,key:valueMap中的方法:size(Map)函数:可得map的长度。返回值类型:intmap_keys(Map)函数:可得map中所有的key;返回值类型:arraymap_values(Map)函数:可得map中所有的v

hive基础选择题

1.下列关于Hive特点总结正确的选项是()AHive支持自由的扩展集群的规模,只需要重启服务即可BHive支持自定义函数,用户可以根据自己的需求去定义函数CHiveSQL执行时,需要避免节点出现问题DHive适合处理小批量数据【B】A.错误,Hive一般不需要重启服务就可以扩展集群B.正确,用户可以上传自己定义的函数UDF,UserDefineFunctionjar包提交至Hive环境,注册后即可使用C.错误,Hive具有良好的容错性,节点出现问题,SQL仍然可以成功执行D.错误,Hive适合处理大批量、海量数据集2.下面关于Hive查看表table1的分区的描述正确的是()Ashowpar

Hive bitmap udf

背景在hive中使用Roaring64Bitmap实现精确去重功能主要目的:1.提升hive中精确去重性能,代替hive中的count(distinctuuid);2.节省hive存储,使用bitmap对数据压缩,减少了存储成本;3.提供在hive中bitmap的灵活运算,比如:交集、并集、差集运算,计算后的bitmap也可以直接写入hive;使用github地址https://github.com/lihuigang/hive-bitmap-udf下载地址:https://github.com/lihuigang/hive-bitmap-udf/releases/download/v1.0.

[1142]hive中如何新增字段

文章目录新增字段1、方法1cascade知识2、方法2(适用于外部表)3、方法3(下下策)修改字段删除列新增字段1、方法1altertable表名addcolumns(列名stringCOMMENT'新添加的列')CASCADE;altertable表名addcolumns(列名stringCOMMENT'新添加的列');hive表中指定位置增加一个字段分两步,先添加字段到最后(addcolumns),然后再移动到指定位置(change)altertable表名addcolumns(列名stringcomment'当前时间');--正确,添加在最后altertable表名change列名str

Linux配置hive(远程模式)

首先:配置好三台虚拟机、免密、hadoop我这边用node、node1、node2远程模式:将hive中的相关进程比如hiveserver2或者metastore这样的进程单独开启,使用客户端工具或者命令行进行远程连接这样的服务,即远程模式。客户端可以在任何机器上,只要连接到这个server,就可以进行操作。客户端可以不需要密码。我把node1作为服务端,node作为客户端先在node1里下载安装hive解压、改名、授权1.hive/conf/里面新建 hive-site.xmlhive.metastore.warehouse.dir/user/hive/warehouselocationof