背景：在这篇文章之前，我读取数据库的数据没有形成规范，并且代码扩展性不好，使用率不高，而且比较混乱。数据库信息的替换也比较混乱。坏习惯包括：连接数据库之后就开始读数，读完就结束，数据的存放也没有规范，而且容易重复读取。现在将代码分为几层，一层是底层，就是单独连接数据库，在这基础上封装第二个类别，加上了线程锁和时间表，用于确保读数的稳定和超时错误提醒。第三层才是真正的业务，第三层的类里面封装了很多读取不同数据表的方法，每一个方法就是读一个表，然后将数据缓存起来，并且设置好更新数据缓存的时间（例如24小时），和维护多线程读数。第四层也就是简单的调用第三层即可，然后所有的数据都可以读取然后缓存到我们
查看库名：showdatabases;模糊查看库名：showdatabaseslike'*test*';查看表名：showtables;模糊查看表名：showtableslike'*aaa*';showdatabases;>>>admindefaulttesttest_aothershowdatabaseslike'*test*';>>>testtest_a---指定数据库再查表名usetest;showtables;>>>customer_idactive_usersku_infotestuser_infovalidate_black_list_datashowtableslike'*use
文章目录Hive数据仓库简介一、数据仓库简介1.什么是数据仓库2.数据仓库的结构2.1数据源2.2数据存储与管理2.3OLAP服务器2.4前端工具3.数据仓库的数据模型3.1星状模型3.2雪花模型二、Hive简介1.什么是Hive2.Hive的发展历程3.Hive的本质4.Hive的优缺点4.1优点4.2缺点5.Hive系统架构6.Hive工作原理7.Hive数据模型7.1数据库7.2表7.3分区7.4桶表8.Hive与数据库的⽐较8.1数据规模⽅⾯8.2查询语⾔⽅⾯8.3数据更新⽅⾯8.4执⾏延时⽅⾯8.5应⽤场景⽅⾯8.5应⽤场景⽅⾯Hive数据仓库简介Hive起源于Facebook，Fa
集群环境错误由来错误原因错误分析解决办法1、集群环境CDH集群5.16.1，hive的引擎是spark。2、错误由来今天在生产环境的集群里跑hive任务，报错Jobfailedwithorg.apache.spark.SparkException:Jobabortedduetostagefailure:Task7instage14.0failed4times,mostrecentfailure:Losttask7.3instage14.0(TID2055,cdh093,executor259):ExecutorLostFailure(executor259exitedcausedbyoneof
IDEA运行hql出现FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask.User:xxxisnotallowedtoimpersonatexxx的错误根据报错日志知xxx用户无法模拟其他用户的身份访问Hadoop集群。启用的hiveserver2的模拟用户功能，依赖于Hadoop提供的proxyuser（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户身份访问Hadoop集群。因此，需要将hiverserver2的启动用户设置为Hadoop的代理用户修改hadoop配置
0:jdbc:hive2://node1:10000>createroleroot;Error:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.Currentuser:ljrisnotallowedtoaddroles.UserhastobelongtoADMINroleandhaveitascurrentrole,forthisaction.(state=08S01,code=1)对于由于用户权限引起的报错，我们知道只要对用户进行
Hive内置函数：单行函数、聚合函数、炸裂函数、窗口函数。--查看系统内置函数：showfunctions;--查看内置函数用法：descfunction函数名;--查看内置函数详细信息：descfunctionextended函数名；一、单行函数 单行函数的特点是一进一出，即输入一行，输出一行；包括算数运算函数、数值函数、字符串函数、日期函数、流程控制函数、集合函数等。1算数运算函数--按位异或(位同为0，不同为1)select2^3;--10^11=01=12数值函数--round：四舍五入selectrount(3.3);--3selectrount(-1.5);---2--cei
1HiveClient、HiveBeelineClientHive发展至今，总共历经了两代客户端工具。第一代客户端（deprecated不推荐使用）：$HIVE_HOME/bin/hive,是一个shellUtil。主要功能：一是可用于以交互或批处理模式运行Hive查询；二是用于Hive相关服务的启动，比如metastore服务。第二代客户端（recommended推荐使用）：$HIVE_HOME/bin/beeline，是一个JDBC客户端，是官方强烈推荐使用的Hive命令行工具，和第一代客户端相比，性能加强安全性提高。BeelineShell在嵌入式模式和远程模式下均可工作。在嵌入式模式下
目录一、hive内部表简介1.1查看内部表信息二、hive外部表简介三、内部表与外部表对比四、内部表与外部表操作演示4.1内部表操作4.1.1数据准备4.1.2建表sql4.2外部表操作4.2.1建表sql4.2.2上传数据文件到/stu目录4.2.3内部表删除4.2.4外部表删除4.3如何选择内、外部表五、内部表、外部表与location的关系5.1location关键字不补充说明5.2操作演示5.2.1创建外部表，不指定location5.2.2创建内部表，指定location一、hive内部表简介内部表（Internaltable）也称为被Hive拥有和管理的托管表（Managedtab
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、hive数据类型1、数值型数据类型2、字符型数据类型3、日期型数据类型4、其他数据类型5、复合数据类型二、hive数据类型转换1、隐式转换的规律2、同数据类型之间的转换2、不同数据类型之间的转换三、实际应用的注意事项1、字符串string与bigint类型的坑一、hive数据类型1、数值型数据类型类型支持范围说明TINYINT1byte有符号整数范围：-128~127范围太小，基本不用SMALLINT2byte有符号整数范围：-32,768to32,767基本不用INT/INTEGER4byte有符号整数范围：-2,1
