目录1beeline连接hive2退出beeline3清屏4遇到的问题1beeline连接hive两种方式,都需要先启动hiveserver2hive--servicehiveserver2&一条命令beeline-ujdbc:hive2://ip地址:10000/testip地址也可以填映射test表示连接的数据库，不写表示默认数据库defaul后面也可以加-nroot表示登陆用户为root-e"select*fromtlimit10"表示要执行的hql，这里需要双引号先进入beeline命令行环境，然后连接beeline!connectjdbc:hive2://ip地址:10000/tes

Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。问题1：那么什么是hive向量化模式呢？问题2：hive向量化什么情况下可以被使用，或者说它有哪些使用场景呢？问题3：如何查看hive向量化使用的相关信息？1.什么是hive向量化模式hive向量化模式是hive的一个特性，也叫hive矢量化，在没有引入向量化的执行模式之前，一般的查询操作一次只处理一行数据，在向量化查询执行时一次处理1024行的块来简化系统底层的操作，提高了数据处理的性能。在底层，hive提供的向量模式，并不是重写了Mapper函数，而是通过实现inputformat接口，

日期和字符串之间的转换都是先转换为时间戳然后再改变格式20180905转成2018-09-05selectfrom_unixtime(unix_timestamp('20180905','yyyymmdd'),'yyyy-mm-dd')fromdw.ceshi_data结果如下：2018-09-052018-09-05转成20180905selectfrom_unixtime(unix_timestamp('2018-09-05','yyyy-mm-dd'),'yyyymmdd')fromdw.ceshi_data结果如下：20180905unix_timestamp:日期转时间戳函数用法:u

目录一、数据集介绍二、数据处理1.数据导入2.数据清洗三、数据分析可视化1.用户流量及购物情况（1）总访问量PV，总用户量UV（2）日均访问量，日均用户量（3）每个用户的购物情况，加工到user_behavior_count表中（4）统计复购率2.用户行为转化率（1）统计各环节转化率（2）用户行为转化漏斗可视化3.用户行为习惯（1）一天的活跃时段分布（2）一周用户的活跃分布一、数据集介绍user_data.csv是一份用户行为数据，时间区间为2017-11-25到2017-12-03，总计29132493条记录，大小为1.0G，包含5个字段。数据集的每一行表示一条用户行为，由用户ID、商品ID

背景：由于工作需要，当前分析研究的数据基于Hadoop的Hive数据库中，且Hadoop服务端无权限进行操作且使用安全模式，在研究了Dbeaver、Squirrel和Hue三种连接Hive的工具，在无法绕开useKey认证的情况下，只能使用DBeaver工具进行远程连接。【Hadoop环境】：Hive版本：3.1.0KrbClient版本：1.17【JDK版本】：1.8.0_181一、配置Windows的kerberos认证注：由于当前Hadoop服务算使用FusionInsight安全模式需要使用kerberos进行认证，如果使用FusionInsight非安全模式进行对接不需要使用kerb

首先学习这个之前要先知道一些正则的基本知识。随便百度一下正则表达式–元字符|菜鸟教程字符描述\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，'n'匹配字符"n"。'\n'匹配一个换行符。序列'\\'匹配"\"而"\("则匹配"("。^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配'\n'或'\r'之后的位置。$匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配'\n'或'\r'之前的位置。*匹配前面的子表达式零次或多次。例如，zo*能匹配"z"以及"zoo"。*等价于{0,}

1安装MySQL（1）解压MySQL安装包:tar-xfmysql-8.0.33-1.el7.x86_64.rpm-bundle.tar-C/opt/module/mysql（2）卸载系统自带的mariadb：sudorpm-qa|grepmariadb|xargssudorpm-e--nodeps（3）安装MySQL依赖（一定要按顺序装）：cd/opt/module/mysqlsudorpm-ivhmysql-community-common-8.0.33-1.el7.x86_64.rpmsudorpm-ivhmysql-community-libs-8.0.33-1.el7.x86_64.

目录0.相关文章链接1.数据准备2.使用collect_list和concat_ws进行行转列3.使用sort_array函数解决collet_list列表排序混乱问题0.相关文章链接开发随笔文章汇总  1.数据准备建表语句：createtabletemp(provincestring,citystring,scorebigint);插入数据：INSERTOVERWRITEtabletempVALUES('广东','佛山',8),('广东','广州',10),('广东','中山',1),('广东','东莞',5),('湖南','娄底',6),('湖南','株洲',9),('湖南','湘潭',7

一、HBase1、HBase特点Hbase是构建在HDFS上的分布式数据库，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。HBase主要用于大数据领域，MySQL是行式存储，HBase是列式存储。HBase是一种构建在HBase之上的分布式、面向列的存储系统，需要实时读写、随机访问超大规模数据集时，可以使用HBase。HDFS不支持小文件，不支持并发写，不支持文件随机修改，查询效率也低。HBase却是一个支持百万级别高并发写入，支持实时查询，适合存储稀疏数据的分布式数据库系统。（1）海量存储、扩展性强、高可靠性·海量存储：HBase单表可以有百亿行、百万列，可以在横向和纵向

hive时间函数1.current_date()：获取当前格式化日期2.current_timestamp()：获取当前格式化时间3.unix_timestamp()：获取当前unix时间戳4.from_unixtime()：把unix时间戳转化为格式化时间5.to_date():当前格式化时间（含时分秒）转化为年月日6.date_format():对日期进行格式化7.year/quarter/month/day/hour/minute/second:年/季度/月/日/时/分/秒8.date_add():取格式化时间的前/后n天9.date_sub():取格式化时间的前/后n天10.add_m