草庐IT

hive的安装配置笔记

1.上传hive安装包2.解压3.配置Hive(在一台机器上即可)   mvhive-env.sh.templatehive-env.sh4.运行hive   发现内置默认的metastore存在问题(1.换执行路径后,原来的表不存在了。2.只能有一个用户访问同一个表)   5.配置mysql的metastore      查询以前安装的mysql相关包      rpm-qa|grepmysql    暴力删除这个包      rpm-emysql-libs-5.1.66-2.el6_3.i686--nodeps    上传两个mysql的rpm包      rpm-ivhMySQL-ser

Hive与Hadoop的版本对应关系

Downloads08April2022:release3.1.3availableThisreleaseworkswithHadoop3.x.yYoucanlookatthecomplete JIRAchangelogforthisrelease.30March2022:release4.0.0-alpha-1availableThisreleaseworkswithHadoop3.x.yYoucanlookatthecomplete JIRAchangelogforthisrelease.9June2021:release2.3.9availableThisreleaseworkswith

【SQL相关】Hive中空值与Null的判断及处理

1.空值与null的区别        null没有被分配任何值或对象,表示这个字段没有被赋值或者值是未知的,占空间,不会被count()函数统计;        空值表示这个字段被赋了一个空的值,不占空间,会被count()函数统计。2.空值与null的判断        null和''(空值)在SQL中的筛选过滤条件是不一样的,isnull识别不了'',同样地,''也识别不了null。2.1null判断--筛选nullselect*fromtablewhereaisnull--筛选非nullselect*fromtablewhereaisnotnull2.2空值判断--筛选空值select

Hive表DDL操作(一)

目录第1关:Create/Alter/Drop数据库任务描述相关知识编程要求测试说明代码:第2关:Create/Drop/Truncate表任务描述相关知识编程要求测试说明代码:第3关:Alter表/列任务描述相关知识编程要求测试说明代码:第4关:表分区任务描述相关知识编程要求测试说明代码:第1关:Create/Alter/Drop数据库任务描述本关任务:根据编程要求对数据库进行相关操作。相关知识为了完成本关任务,你需要掌握:1.如何创建数据库;2.如何修改数据库;3.如何删除数据库。Create创建数据库数据库本质上是一个目录或命名空间,用于解决表命名冲突。创建数据库的语法为:CREATE(

大数据毕业设计选题推荐-家具公司运营数据分析平台-Hadoop-Spark-Hive

✨作者主页:IT研究室✨个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着家具行业的快速发展,市场竞争日益激烈。为了在激烈的市场环境中保持优势地位,家具公司需要准确地了解其销售数据及市场趋势。然而,传统的数据监测方法往往无法满足现代家具公司的需求,因为它们通常需要大量的人工操作,且难以保证数据的

Hive解析Json数组超全讲解

Hive解析Json数组超全讲解在Hive中会有很多数据是用Json格式来存储的,如开发人员对APP上的页面进行埋点时,会将多个字段存放在一个json数组中,因此数据平台调用数据时,要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。#Hive自带的json解析函数#1.get_json_object语法:get_json_object(json_string,'$.key')说明:解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效,那么返回NULL。这个函数每次只能返回一个数据项。示例:selectget_json_object

【hive】hive修复分区或修复表 以及msck命令的使用

【hive】hive修复分区或修复表以及msck命令的使用文章目录【hive】hive修复分区或修复表以及msck命令的使用问题原因:解决方法:msck命令解析:例子:问题原因:之前hive里有数据,后面存储元数据信息的MySQL数据库坏了,导致hive元数据信息丢失,但是hdfs上hive表的数据并没有丢失,重新建表后查看hive分区没有,数据也没有。解决方法:MSCKREPAIRTABLE是在Hive中用于修复分区表(PartitionedTable)元数据的命令。在Hive中,当您向分区表添加、删除或更改分区数据时,有时会导致分区元数据不一致的情况。使用MSCKREPAIRTABLE命令

Java(115)Java通过jdbc接口连接hive3.1.2

Java通过jdbc接口连接hive1、版本信息hive版本:3.1.2jdbc:hive-jdbc-uber-2.6.5.0-292.jar下载驱动地址:https://github.com/timveil/hive-jdbc-uber-jar/releases/tag/v1.9-2.6.52、pom.xml引用org.appache.hivehive-jdbc-uber2.6.5.0-292system${pom.basedir}/src/main/resources/lib/hive-jdbc-uber-2.6.5.0-292.jar3、对应的数据库表CREATETABLEregre_o

【hive】hive的安装配置,beeline使用(1)

目录首先需要安装hive 解决日志jar包冲突 修改hive配置文件把hadoop下的gua给hive一份 修改hive  env.sh添加连接插件和初始化 Mysql安装启动及测试 beeline启动顺序 hive启动脚本首先需要安装hive书上用的是hive1.2.1但是官网说1.2.1不兼容hadoop3所以选择其他的版本 用这个大家去官网下载就行,这里把ba网盘链接也给大家https://pan.baidu.com/s/1rkI1PZeBNusBddYLk868Yw?pwd=1234  提取码:1234 解压 配置环境变量(这里有错,见下一张图)使环境变量生效创建软连接首先介绍一下软连

[Hive] explode

在Hive中,explode函数用于将数组(Array)或者Map类型的列拆分成多行,每个元素或键值对为一行。这允许我们在查询中对数组或Map进行扁平化操作。下面是使用explode函数的示例:假设我们有一个包含数组字段的表my_table,并且想要将该数组字段展开成多行。创建并加载示例数据:--创建my_table表并导入数据CREATETABLEmy_table(idINT,valuesARRAYSTRING>);INSERTINTOmy_tableVALUES(1,array('apple','banana','orange'));INSERTINTOmy_tableVALUES(2,a