草庐IT

AdminManualConfiguration-hive-sit

全部标签

Hive学习——单机版Hive的安装

目录一、基本概念(一)Hive概念(二)优势和特点(三)Hive元数据管理(四)Hive架构(五)HiveInterface–其他使用环境二、Hive环境搭建1.自动安装脚本2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml3.拷贝一个jar包到hive下面的lib目录下4.删除hive的guava,拷贝hadoop下的guava5.重启环境变量6.启动hadoop服务7.启动历史服务器 8.修改hive日志文件的存放位置9.HVM堆内存设置10.首次连接Hive要初始化数据到mysql中11.启动hive的两种方法12.安装net-tools

Hive增强的聚合、多维数据集、分组和汇总

Hive多维分析1、多维分析概述2、GROUPINGSETS多维分组3、GROUPING__ID函数4、ROLLUP与CUBE语法糖5、多维分析常见问题与解决春雨惊春清谷天,夏满芒夏暑相连;秋处露秋寒霜降,冬雪雪冬小大寒。今天是2023年的最后一个节气:大雪。大雪节气之后,全国气温显著下降,北方冷空气越发活跃。大家注意防寒保暖进入正题,本文主要对照Hive介绍Hive、Spark、Presto查询引擎中的增强GROUPBY及相关语法,并通过多维场景案例分析详解三个引擎增强多维聚合语法之间的区别,以及使用中的一些常见问题1、多维分析概述在多维分析场景下,我们可能会用到高阶聚合函数,例如GROUP

android - java.lang.NullPointerException - AutoCompleteTextView - hive

在运行Honeycomb(Android3.0)的设备上使用AutoCompleteTextView组件时,我遇到了一个奇怪的问题(使用MotorolaXoom进行测试)。我得到一个Nullpointer异常,堆栈跟踪如下:FATALEXCEPTION:mainjava.lang.NullPointerExceptionatandroid.widget.PopupWindow.getMaxAvailableHeight(PopupWindow.java:1152)atandroid.widget.ListPopupWindow.buildDropDown(ListPopupWindow

大数据Hive--安装和配置

文章目录一、Hive的安装地址1.1Hive安装部署1.1.1安装Hive1.1.2启动Hive二、MySQL的安装地址2.1安装MySQL2.2配置MySQL2.3卸载MySQL三、配置Hive元数据存储到MySQL3.1配置Hive元数据存储到MySQL3.2验证元数据是否配置成功3.3查看MySQL中的元数据四、Hive服务部署4.1hiveserver2服务4.2metastore服务五、Hive使用技巧5.1Hive常用交互命令5.2Hive常见属性配置六、所需的安装包资源有需要Hive-3.1.3.安装包和MySQL安装包以及MySQL驱动jar包的,请浏览文章末尾一、Hive的安

二百零九、Hive——with嵌套语句报错:hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

一、目的在Hive的with嵌套语句时,HQL报错Line2:5Ambiguoustablealias't2'二、报错详情org.apache.hadoop.hive.ql.parse.SemanticException:Line2:5Ambiguoustablealias't2'三、原SQL语句witha2as(witht2as(selectget_json_object(event_json,'$.id')id,get_json_object(event_json,'$.deviceNo')device_no,get_json_object(event_json,'$.createTime

大数据技术之Hive SQL题库-初级

第一章环境准备1.1建表语句hive>--创建学生表DROPTABLEIFEXISTSstudent;createtableifnotexistsstudent_info(stu_idstringCOMMENT'学生id',stu_namestringCOMMENT'学生姓名',birthdaystringCOMMENT'出生日期',sexstringCOMMENT'性别')rowformatdelimitedfieldsterminatedby','storedastextfile;--创建课程表DROPTABLEIFEXISTScourse;createtableifnotexistsco

hive-数据导入导出(超级详细)

N.1数据导入N.1.1load导入1)load是本地导入或hdfs导入到hive。数据操纵语言(DataManipulationLanguage,DML)2)语法:hive(default)>loaddata[local]inpath'本地文件路径'[overwrite]intotable表名[partition(1级分区字段=值[,2级分区字段=值]...)];注释:(1)loaddata:表示加载数据(2)local:表示从本地加载数据到复制到hive表;否则从HDFS加载数据移动到到hive表(3)inpath:表示加载数据的路径(4)overwrite:表示覆盖表中已有数据(比如分区

【大数据】Hive入门➕安装(尚硅谷大数据Hive 3.1.3教程)

目录前言一、Hive入门1.1.Hive本质1.2.Hive架构原理二、Hive3.1.3安装1.最小化安装部署(仅适合学习测试)2.安装MySQL3.卸载MySQL4.配置Hive元数据存储到MySQL中5.Hive服务部署5.1.hiveserver2服务(远程访问服务)5.2.metastore服务6.Hive使用技巧6.1.Hive常用交互命令6.2.Hive常用非交互命令(无需启动hive)6.3.hive参数配置方式6.4.Hive常见属性配置总结前言hive尚硅谷面试刷题网站hive日志位置(root用户下):/tmp/root/hive.log一、Hive入门Hive入门官方文

基于hadoop+hive的全国天气大数据可视化平台

【大数据分析毕设之S2023102基于Hadoop+hive的全国天气大数据分析可视化平台(hive+sqoop+hdfs+Echart)】https://www.bilibili.com/video/BV1224y1c7eB/?share_source=copy_web&vd_source=3d18b0a7b9486f50fe7f4dea4c24e2a4http://www.bilibili.com/video/BV1224y1c7eB/?share_source=copy_web&vd_source=3d18b0a7b9486f50fe7f4dea4c24e2a4随着云计算和物联网的发展,

【Hive-小文件合并】Hive外部分区表利用Insert overwrite的暴力方式进行小文件合并

这里我们直接用实例来讲解,Hive外部分区表有单分区多分区的不同情况,这里我们针对不同情况进行不同的方式处理。利用overwrite合并单独日期的小文件1、单分区#开启此表达式:`(sample_date)?+.+`sethive.support.quoted.identifiers=none;#此sql是将20230713分区的小文件进行合并#`(sample_date)?+.+`:表示select出除了sample_date分区字段以外的所有字段(字段较多的时候用这种方式很便捷)insertoverwritetable`test`.`table`partition(sample_date=