1，首先是环境一定要统一，我首先说一下我的环境Hive3.1.2（并且是对于spark3.00来说是编译好的），spark的2个压缩包分别为spark-3.0.0-bin-hadoop3.2.tgz，spark-3.0.0-bin-without-hadoop.tgz上面的2个spark一定要确定版本，如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包2.上面环境弄好后就是解压spark的第一个压缩包，然后配置环境变量，注意只要配置环境变量就好，其它的配置可以不用去弄，我把以前的spark的环境变量注释了，采用新的 3，如果上面的做好了，就可以解压缩另一个sp
1，首先是环境一定要统一，我首先说一下我的环境Hive3.1.2（并且是对于spark3.00来说是编译好的），spark的2个压缩包分别为spark-3.0.0-bin-hadoop3.2.tgz，spark-3.0.0-bin-without-hadoop.tgz上面的2个spark一定要确定版本，如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包2.上面环境弄好后就是解压spark的第一个压缩包，然后配置环境变量，注意只要配置环境变量就好，其它的配置可以不用去弄，我把以前的spark的环境变量注释了，采用新的 3，如果上面的做好了，就可以解压缩另一个sp
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
一、Hive引擎包括：默认MR、tez、spark在低版本的hive中，只有两种计算引擎mr,tez在高版本的hive中，有三种计算引擎mr,spark,tez二、HiveonSpark和SparkonHive的区别HiveonSpark：Hive既存储元数据又负责SQL的解析，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。SparkonHive:Hive只存储元数据，Spark负责SQL解析，语法是SparkSQL语法，Spark负责采用RDD执行。注意:目前官网的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是
1、数据源介绍 sparksql默认查询的数据源是hive数据库，除此之外，它还支持其它类型的数据源查询，具体的到源码中看一下： 可以看到sparksql支持查询的数据源有CSV、parquet、json、orc、txt、jdbc。这些数据源中前面五个我还能理解，最后jdbc数据源我就有了一些疑问，因为很多数据库都支持jdbc连接。那么sparksql是支持所有的jdbc数据源连接吗，sparksql通过jdbc查询还会经过逻辑计划、物理计划这些处理流程吗。还有就是sparksql默认查询的hive数据源是通过jdbc吗？2、样例代码 针对问题编辑了如
目录介绍：一、准备1.1下载安装datagrip1.2安装配置好Hadoop、hive、MySQL二、安装连接2.1安装datagrip2.2配置hive2.3datagrip连接hive介绍：DataGrip出自JetBrains公司,是一款跨平台的数据库管理客户端工具,可在Windows,OSX和Linux上使用;同时支持多种数据库:SQLServer,Oracle,PostgreSQL,MySQL,DB2,Sybase,SQLite,Derby,HyperSQL和H2;方便连接到数据库服务器,执行sql、创建表、创建索引以及导出数据等。一、准备1.1下载安装datagrip官网：下载Da
一、Hive数据库hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。二、MySQL数据库MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗
Ubuntu下搭建伪分布式从0开始安装Hive详细教程（从JDK安装、Hadoop搭建开始）环境：VMware®Workstation16Pro、Ubuntu18.041、安装SSH和配置SSH无密码登录sudoapt-getinstallopenssh-server安装后，可使用以下命令登录本机：sshlocalhost输入yes与用户密码，就可以登录到本机接着我们退出SSH登录exit配置无密码登录：cd~/.ssh/ssh-keygen-trsa注意这里第二步要你输入文件名时不用输入，直接一路Enter选择默认值就好了！cat./id_rsa.pub>>./authorized_keys
第2关：Hive数据类型和类型转换任务描述本关任务：2013年7月25日每种股票总共被客户买入了多少金额。相关知识为了完成本关任务，你需要掌握：1.Hive的内置数据类型，2.如何转换数据类型。Hive的内置数据类型Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。基本数据类型数据类型所占字节TINYINT1byte，-128~127SMALLINT2byte，-32,768~32,767INT4byte,-2,147,483,648~2,147,483,647BIGINT8byte,-9,223,372,036,854,775,808~9,223,372,03
