目录一Hive的安装与配置1.导包2.元数据配置管理的修改 ①vihive-site.xml ②hive-env.sh ③hive-log4j2.properties ④赋予权限3.Hive的连接方式4.Hive的优缺点一Hive的安装与配置1.导包①把三台虚拟机和xshell启动②进入文件夹[root@node01~]#cd/opt/software/[root@node01software]#ll③导入tar包：apache-hive-2.3.3-bin.tar.gz，即下好tar包后拖拽到node01中即可。[root@node01software]#rz[root@node01
#此文仅作为本人问题解决过程存档环境：VM、CentOS、Xshell问题：输入hive后无法正常启动hive，并有如下提示错误原因：hdfs和yarn没有完全启动（主要是namenode无法正常启动）解决方法：1.jps查看当前进行进程2.hadoopnamenode-format 格式化hdfs系统（参考链接：(27条消息)hadoop启动后jps查看总是不显示namenode进程，然后重新格式化hdfs_laneypeng的博客-CSDN博客_jpsnamenode出不来https://blog.csdn.net/u010995503/article/details/47166309）3
如何获取Hive库表字段分区信息1获取Hive的所有数据库信息如果注释字段中文乱码，则需要修改字符集（正常情况都需要修改）。SELECT `NAME`NAME, ANY_VALUE(`DESC`)COMMENT, ANY_VALUE(`DB_LOCATION_URI`)pathFROM `DBS`GROUPBY `NAME2根据数据库名获取数据表信息path字段对应着Hive表在Hdfs的路径，在做数据同步的时候很重要（比如使用dataX进行数据同步，当然手写JSON也是很累的，但是还好有datax-web开源项目）,type字段可以看出表的储存格式(目前已知Hive可以直接加载Hdfs目录中
大数据Hadoop集群之Hive安装配置目录大数据Hadoop集群之Hive安装配置1.导入Hive压缩包并查看2.解压至module3.配置环境变量4.配置HIVE文件4.1配置hive-env.sh4.2查看版本4.3配置hive-site.xml5.安装mysql6.初始化mysql7.重启mysql8.在mysql中创建存放元数据的数据库9.修改存放hive元数据的数据库字符集为latin110.下载MySQL插件11.更新Hadoop中的jline文件12.格式化mysql服务13.在hdfs创建hive存储目录（如存在则不用操作）14.hive启动时java.net.Connect
大数据Hadoop集群之Hive安装配置目录大数据Hadoop集群之Hive安装配置1.导入Hive压缩包并查看2.解压至module3.配置环境变量4.配置HIVE文件4.1配置hive-env.sh4.2查看版本4.3配置hive-site.xml5.安装mysql6.初始化mysql7.重启mysql8.在mysql中创建存放元数据的数据库9.修改存放hive元数据的数据库字符集为latin110.下载MySQL插件11.更新Hadoop中的jline文件12.格式化mysql服务13.在hdfs创建hive存储目录（如存在则不用操作）14.hive启动时java.net.Connect
1，首先是环境一定要统一，我首先说一下我的环境Hive3.1.2（并且是对于spark3.00来说是编译好的），spark的2个压缩包分别为spark-3.0.0-bin-hadoop3.2.tgz，spark-3.0.0-bin-without-hadoop.tgz上面的2个spark一定要确定版本，如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包2.上面环境弄好后就是解压spark的第一个压缩包，然后配置环境变量，注意只要配置环境变量就好，其它的配置可以不用去弄，我把以前的spark的环境变量注释了，采用新的 3，如果上面的做好了，就可以解压缩另一个sp
1，首先是环境一定要统一，我首先说一下我的环境Hive3.1.2（并且是对于spark3.00来说是编译好的），spark的2个压缩包分别为spark-3.0.0-bin-hadoop3.2.tgz，spark-3.0.0-bin-without-hadoop.tgz上面的2个spark一定要确定版本，如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包2.上面环境弄好后就是解压spark的第一个压缩包，然后配置环境变量，注意只要配置环境变量就好，其它的配置可以不用去弄，我把以前的spark的环境变量注释了，采用新的 3，如果上面的做好了，就可以解压缩另一个sp
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
一、Hive引擎包括：默认MR、tez、spark在低版本的hive中，只有两种计算引擎mr,tez在高版本的hive中，有三种计算引擎mr,spark,tez二、HiveonSpark和SparkonHive的区别HiveonSpark：Hive既存储元数据又负责SQL的解析，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。SparkonHive:Hive只存储元数据，Spark负责SQL解析，语法是SparkSQL语法，Spark负责采用RDD执行。注意:目前官网的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是
