草庐IT

AdminManualConfiguration-hive-sit

全部标签

2.Hive创建数据库

1.数据库操作1.1创建数据库createdatabasetestcomment'Justfortest'location'/abcd'withdbproperties('aaa'='bbb');comment后面指的是注释;location后面是数据库存放路径;dbproperties代表了数据库的属性ps.避免要创建的数据库已经存在错误,增加ifnotexists判断:createdatabaseifnotexistsdb_hive;1.2 查询数据库 1)显示数据库showdatabases;2) 过滤显示查询的数据库showdatabaseslikedb_hive; 3)查看数据库信息

Hive数据仓库---Hive的安装与配置

1Hive下载Hive官网地址:https://hive.apache.org/下载地址:http://www.apache.org/dyn/closer.cgi/hive/2Hive安装与启动2.1Hive安装把安装文件apache-hive-3.1.2-bin.tar.gz上传到master节点的/opt/software目录下,执行以下命令把安装文件解压到/opt/app目录中cd/export/softwaretar-zxvfapache-hive-3.1.2-bin.tar.gz-C/export/server进入/opt/app目录,为目录apache-hive-3.1.2-bin

HIVE运行卡死没反应的亲测解法

QueryID=root_20230914161708_a293bd1f-62bb-4a28-a477-97f71fc745b4Totaljobs=3LaunchingJob1outof3Numberofreducetasksdeterminedatcompiletime:1Inordertochangetheaverageloadforareducer(inbytes): sethive.exec.reducers.bytes.per.reducer=Inordertolimitthemaximumnumberofreducers: sethive.exec.reducers.max=Ino

Hadoop 高可用集群完全分布式安装教程一篇就够用(zookeeper、spark、hbase、mysql、hive)

Hadoop高可用集群完全分布式安装教程一篇就够用(zookeeper、spark、hbase、mysql、hive)写在之前,Hadoop完全分布式集群资源配置规划情况一、全局基本配置💡建议一开始安装的时候在网络配置项的地方,选择自动ipv4,然后进行ip设置1、更改静态网络命令如下:#检查虚拟机是否能够ping通www.baidu.comservicenetworkrestart#尝试重启网络服务#修改网络服务为静态网络指定路由以及DNS服务器vim/etc/sysconfig/network-scripts/ifcfg-ens33文件内容如下:TYPE=EthernetPROXY_MET

hive调优扩充

1.数据采样采样函数:tablesample(bucketxoutofy[oncolumn])使用位置:查询的时候,紧紧跟在表名的后面,如果表名有别名,必须放置别名的前面普通表:说明:x:从第几个桶进行采样,x不能大于yy:临时分几个桶column:分桶的字段,可以省略分桶表:说明:x:从第几个桶开始进行采样,x不能大于yy:抽样比例y必须是桶表的分桶数量的倍数或者因子column:分桶的字段,可以省略分桶表抽样案例:1)假设A表有10个桶,请分析,下面的采样函数,会将那些桶抽取出来呢?tablesample(bucket2outof5onxxx)会抽取出几个桶数据呢?总桶数/抽样比例=分桶数

Hive中的常用concat函数——concat函数、concat_ws函数和group_concat函数

1、concat()1.1、用法:concat(str1,str2,str3,…)连接参数的函数,返回结果为连接参数的字符串。如果有一个参数为NULL,则返回的结果为NULL。1.2、示例concat('a','b','c')----'abc'concat('a',null,'c')----null2、concat_ws()2.1、用法:concat_ws('分隔符',str1,str2,…)concat()的一个特殊形式,表示concatwithseparator,两个参数之间加上特定的分隔符。返回的是用指定分隔符连接参数的字符串。如果分割符为null,则返回null,参数为null,则忽略

hive-窗口函数

1窗口函数语法分析函数/专用窗口函数over(partitionby列名orderby列名rowsbetween开始位置and结束位置)常用的分析函数常用的分析函数:sum()、max()、min()、avg()、count()常用的专用窗口函数专用窗口函数:row_number()、rank()、dense_rank()窗口函数窗口函数的3个组成部分可以单独使用,也可以混合使用,也可以全部不用over(partitionby列名orderby列名rowsbetween开始位置and结束位置)partitionby对指定的字段进行分组,后续都会以组为单位,把每个分组单独作为一个窗口进行统计分析

BI软件概述以及FineBI安装并连接Hive(包含安装包和插件)

目录一、概述二、FineBI介绍及安装    (1)安装包下载    (2)安装    (3)配置Hive连接驱动         (4)安装插件    (5)新建Hive连接一、概述    BI:BusinessIntelligence,商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。简单来说,就是借助BI工具,可以完成复杂的数据分析、数据统计等需求,为公司决策带来巨大的价值。    常见BI软件有:        ①FineBI        ②SuperSet        ③PowerBI        ④TableAu二、FineB

【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发

注意:该项目只展示部分功能,如需了解,评论区咨询即可。本文目录1设计背景2设计意义3系统展示3.1页面展示3.2视频展示4更多推荐5部分功能代码1设计背景在当今数字化时代,电商行业成为全球商业生态系统的关键组成部分,电商平台已经深入各行各业,影响了人们的购物方式和消费习惯。随着互联网技术的不断发展,电商平台产生了大量的用户数据,包括点击、购买、搜索、浏览历史等行为数据。这些数据蕴含着宝贵的商业洞察,可用于了解用户行为、产品趋势、广告效果以及提高用户体验。然而,这些数据规模庞大,多样性丰富,传统数据分析方法已经无法满足电商企业对数据的需求。这就是为什么开发基于Hadoop大数据技术的电商平台用户

【运维】hive 高可用详解: Hive MetaStore HA、hive server HA原理详解;hive高可用实现

文章目录一.hive高可用原理说明1.HiveMetaStoreHA2.hiveserverHA二.hive高可用实现1.配置2.beeline链接测试3.zookeeper相关操作一.hive高可用原理说明1.HiveMetaStoreHAHive元数据存储在MetaStore中,包括表的定义、分区、表的属性等信息。hivemetastore配置多台,可以避免单节点故障导致整个集群的hiveclient不可用。原理如下:Active-activemodeisnotsupportedforHiveMetastore.Hence,thereisoneactiveinstanceoftheHive