1、concat()1.1、用法：concat(str1,str2,str3,…)连接参数的函数，返回结果为连接参数的字符串。如果有一个参数为NULL，则返回的结果为NULL。1.2、示例concat('a','b','c')----'abc'concat('a',null,'c')----null2、concat_ws()2.1、用法：concat_ws('分隔符',str1,str2,…)concat()的一个特殊形式，表示concatwithseparator，两个参数之间加上特定的分隔符。返回的是用指定分隔符连接参数的字符串。如果分割符为null，则返回null，参数为null，则忽略

1窗口函数语法分析函数/专用窗口函数over(partitionby列名orderby列名rowsbetween开始位置and结束位置)常用的分析函数常用的分析函数：sum()、max()、min()、avg()、count()常用的专用窗口函数专用窗口函数：row_number()、rank()、dense_rank()窗口函数窗口函数的3个组成部分可以单独使用，也可以混合使用，也可以全部不用over(partitionby列名orderby列名rowsbetween开始位置and结束位置)partitionby对指定的字段进行分组，后续都会以组为单位，把每个分组单独作为一个窗口进行统计分析

目录一、概述二、FineBI介绍及安装    （1）安装包下载    （2）安装    （3）配置Hive连接驱动         （4）安装插件    （5）新建Hive连接一、概述    BI：BusinessIntelligence，商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。简单来说，就是借助BI工具，可以完成复杂的数据分析、数据统计等需求，为公司决策带来巨大的价值。    常见BI软件有：        ①FineBI        ②SuperSet        ③PowerBI        ④TableAu二、FineB

注意：该项目只展示部分功能，如需了解，评论区咨询即可。本文目录1设计背景2设计意义3系统展示3.1页面展示3.2视频展示4更多推荐5部分功能代码1设计背景在当今数字化时代，电商行业成为全球商业生态系统的关键组成部分，电商平台已经深入各行各业，影响了人们的购物方式和消费习惯。随着互联网技术的不断发展，电商平台产生了大量的用户数据，包括点击、购买、搜索、浏览历史等行为数据。这些数据蕴含着宝贵的商业洞察，可用于了解用户行为、产品趋势、广告效果以及提高用户体验。然而，这些数据规模庞大，多样性丰富，传统数据分析方法已经无法满足电商企业对数据的需求。这就是为什么开发基于Hadoop大数据技术的电商平台用户

文章目录一.hive高可用原理说明1.HiveMetaStoreHA2.hiveserverHA二.hive高可用实现1.配置2.beeline链接测试3.zookeeper相关操作一.hive高可用原理说明1.HiveMetaStoreHAHive元数据存储在MetaStore中，包括表的定义、分区、表的属性等信息。hivemetastore配置多台，可以避免单节点故障导致整个集群的hiveclient不可用。原理如下：Active-activemodeisnotsupportedforHiveMetastore.Hence,thereisoneactiveinstanceoftheHive

任务描述在之前的实训中，我们已经知道了Hive的单表查询，本关主要讲解如何进行多表查询。本关任务：统计查询各班学习Python的人数。相关知识为了完成本关任务，你需要掌握：1.hive多表查询，2.groupby分组函数的使用。多表查询之前的单表查询只是对一张表进行查询，而多表查询需要将两张及两张以上的表进行关联查询。在多表查询中，通常使用表名.列名来对各表中的列进行查询操作。例如：一张info表，一张score表info表列名类型备注namestring姓名classstring班级数据如下：zhangsan,c1lisi,c2wangwu,c3zhaoliu,c2donger,c1xiao

加密selectbase64(cast('abcd'asbinary))YWJjZA==解密--直接解密（结果字段格式为比binary格式）selectunbase64('YWJjZA==')--格式转换selectcast(unbase64('YWJjZA==')asstring)abcd

简介Hive实际上是一个基于Hadoop的数据仓库工具，本身并不存储数据。Hive会把表数据存放到hdfs中，并利用自带的sql解析引擎，将sql语句转换成mrjob，在hadoop的mapreduce引擎上对数据进行查询、统计和分析。内部表和外部表最根本的区别在于，是否由Hive管理表的全生命周期。如，Hive管理内部表的元数据以及实际的表数据，而对于外部表，则只管理它的元数据。以下，将会更具体地阐述内部表和外部表的区别。1.建表语句的区别外部表的建表语句需要被external修饰，但是内部表是不需要的。外部表-被external修饰createexternaltableifnotexist

    Hive的安装模式分为3种，分别是嵌入模式、本地模式、远程模式。   （1）嵌入模式：使用内嵌的Derby数据库存储元数据，这种方式是Hive的默认安装方式，配置简单，但是一次只能连接一个客户端，适合用来测试，不合适生产环境。   （2）本地模式：采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的 Metastore服务。   （3）远程模式：与本地模式一样，远程模式也是采用外部数据库存储元数据。不同的是，远程模式需要单独开启 Metastore服务，然后每个客户端都在配置文件中配置连接该 Metastore服务。远程模

文章目录一、collect_set()/collect_list():二、实际运用1、创建测试表及插入数据:举例1：按照id，cur_day分组，取出每个id对应的所有rule（不去重）。举例2：按照id，cur_day分组，取出每个id对应的所有rule（去重）。总结一、collect_set()/collect_list():在Hive中想实现按某字段分组，对另外字段进行合并，可通过collect_list()或者collect_set()实现。collect_set()函数与collect_list()函数：列转行专用函数，都是将分组中的某列转为一个数组返回。有时为了字段拼接效果，多和c