草庐IT

test_hive

全部标签

DolphinScheduler使用Datax同步Mysql到Hive

1、安装DolphinScheduler2、创建租户信息注意:租户名称就是Linux的执行命令的用户名称,所以不能出错3、根据实际情况确定是否需要创建工作组,存在一个default默认工作组,是当前的所有机器,可以通过组信息来确定定特定的机器执行某个任务,比如DataX插件执行同步任务,可以只在某个机器上安装DataX,之后通过组信息来确定某个安装了同步插件的机器执行同步任务,这样可以降低每台机子上安装的插件个数,但可能会存在,某个机子宕机,任务不能执行的风险4、环境管理默认使用./dolphinscheduler/conf/env/dolphinscheduler_env.sh文件配置的环境

Hive的安装及集成Tez为执行引擎

HIVE3配置文档注意:①要求Hadoop必须是可用的(非HA)②要求Mysql能够链接1.上传文件并解压重命名tar-zxvfapache-hive-3.1.2-bin.tar.gzmvapache-hive-3.1.2-binhive-3.1.22.配置环境变量vim/etc/profileexportHIVE_HOME=/usr/local/soft/hive-3.1.2exportPATH=$HIVE_HOME/bin:$PATH#source一下让环境变量生效source/etc/profile3.配置HIVE相关配置文件cd/usr/local/soft/hive-3.1.2/co

云计算与大数据之间的羁绊(期末不挂科版):云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言:一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算?1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么?1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算的意义1.6.7存储虚拟化1.6.7.1存储虚拟化的原动力1.6.7.2什么是存储虚拟化1.6.7.3存储虚拟化的优势1.6.7.4存储技术分类1.6.7.5存储虚拟化的实现方式1.6.8网络虚拟化1

hive高级查询(2)

--分组查询SELECTsex,SUM(mark)sum_markFROMscoreGROUPBYsexHAVINGsum_mark>555;SELECTsex,sum_markFROM(  SELECTsex,SUM(mark)sum_mark  FROMscore  GROUPBYsex)tWHEREsum_mark>555;SELECTAVG(gid),SUM(gid)/COUNT(gid)FROMstudent;SELECTCOUNT(gid),COUNT(DISTINCTgid)FROMstudent;SELECTcollect_list(gid),collect_set(gid)F

mysql 安装问题 perl(JSON) is needed by mysql-community-test

 问题描述:[root@ebs-139266home]#rpm-ivhmysql-community-*.rpmwarning:mysql-community-client-5.7.42-1.el7.x86_64.rpm:HeaderV4RSA/SHA256Signature,keyID3a79bd29:NOKEYerror:Faileddependencies: perl(JSON)isneededbymysql-community-test-5.7.42-1.el7.x86_64[root@ebs-139266home]#yuminstallperl-JSONLoadedplugins:f

android.support.test.espresso.NoActivityResumedException : No activities in stage RESUMED

我正在尝试为我的Activity编写测试用例。我有几个Activity,其中一个没有问题,而当我尝试对其他ActivityTest类运行测试时出现以下错误。android.support.test.espresso.NoActivityResumedException:NoactivitiesinstageRESUMED.Didyouforgettolaunchtheactivity.(test.getActivity()orsimilar)?这是我所有测试用例都失败的类:@RunWith(AndroidJUnit4.class)@LargeTestpublicclassLocatin

【Hive】配置

目录Hive参数配置方式参数的配置方式1.文件配置2.  命令行参数配置3.参数声明配置配置源数据库配置元数据到MySQL查看MySQL中的元数据Hive服务部署 hiveserver2服务介绍部署启动远程连接1.使用命令行客户端beeline进行远程访问metastore服务运行模式部署其他常见配置显示当前表头和库日志配置Hive的JVM堆内存设置关闭Hadoop虚拟内存检查来源:Hive参数配置方式查看当前所有配置hive>set;参数的配置方式1.文件配置默认配置文件:hive-default.xml用户自定义配置文件:hive-site.xml用户自定义配置会覆盖默认配置。另外,Hiv

spring boot项目 mvn test 和 mvn clean install 和 mvn test-compile 识别不到测试类无法运行单元测试

测试类使用了junit4,springboot版本的test框架自带的是junit5,不兼容。按照springboot对应的版本的junit框架,修改测试类,比如我就修改了junit5。按照:https://docs.spring.io/spring-boot/docs/2.6.3/reference/html/features.html#features.testing,强制使用junit4

Hive SQL,使用UNION ALL 纵向合并表,当字段为空值时报错

使用UNIONALL纵向合并表,当字段为空值时报错如下:SQL错误[40000][42000]:Errorwhilecompilingstatement:FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:ThecolumnKEY._col1:0._col0isnotinthevectorizationcontextcolumnmap{KEY._col0=0,KEY._col1=1}.说明:客户端用的DBeaver尝试了各种方式解决,最终办法:第一种:在SQL前加上:sethive.vectorize

Hive:元数据的三种部署方式

Hive元数据的三种部署方式元数据库之Derby1.内嵌模式示意图:2.Derby数据库:Derby数据库是Java编写的内存数据库,在内嵌模式中与应用程序共享一个JVM,应用程序负责启动和停止。初始化Derby数据库1)在hive根目录下,使用/bin目录中的schematool命令初始化hive自带的Derby元数据库[atguigu@hadoop102hive]$bin/schematool-dbTypederby-initSchema2)执行上述初始化元数据库时,会发现存在jar包冲突问题,现象如下:(hadoop和hive下都有这个jar包,以底层的hadoop为主,改了hive的)