草庐IT

test_hive

全部标签

android - 在 android Test 文件夹中创建 Dummy Activity 进行测试

我在androidTest文件夹中创建了一个虚拟Activity,并在androidTest文件夹的AndroidManifest文件中声明了该Activity。我的基本Intent是通过将可重用fragment放入带有框架布局容器的虚拟Activity中来测试它。androidTest文件夹中的AndroidManifest.xml我的测试类TestWidgets.javapublicclassTestWidgetsextendsActivityInstrumentationTestCase2{privateAppCompatActivitymActivity;publicTestW

Hbase/Hive知识概要

一、HBase1、HBase特点Hbase是构建在HDFS上的分布式数据库,提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。HBase主要用于大数据领域,MySQL是行式存储,HBase是列式存储。HBase是一种构建在HBase之上的分布式、面向列的存储系统,需要实时读写、随机访问超大规模数据集时,可以使用HBase。HDFS不支持小文件,不支持并发写,不支持文件随机修改,查询效率也低。HBase却是一个支持百万级别高并发写入,支持实时查询,适合存储稀疏数据的分布式数据库系统。(1)海量存储、扩展性强、高可靠性·海量存储:HBase单表可以有百亿行、百万列,可以在横向和纵向

Hive--时间函数大全

hive时间函数1.current_date():获取当前格式化日期2.current_timestamp():获取当前格式化时间3.unix_timestamp():获取当前unix时间戳4.from_unixtime():把unix时间戳转化为格式化时间5.to_date():当前格式化时间(含时分秒)转化为年月日6.date_format():对日期进行格式化7.year/quarter/month/day/hour/minute/second:年/季度/月/日/时/分/秒8.date_add():取格式化时间的前/后n天9.date_sub():取格式化时间的前/后n天10.add_m

Hive 分桶表及作用

Hive分桶表一.概述分桶和分区的区别?如何创建分桶表?分桶表的作用?二.补充:通用的join优化(1)空key过滤(2)空key转换三.分桶表的作用2.1数据的采样2.2提升查询效率(多表join优化)(一)小表join大表(二)中表join大表(三)大表join大表一.概述分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive可以进一步组织成,也就是更为细粒度的数据范围划分;分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径;分桶针对的是数据文件。分桶和分区的区别?分桶针对的是数据文件,分区针对的是数据

Hive 分桶表及作用

Hive分桶表一.概述分桶和分区的区别?如何创建分桶表?分桶表的作用?二.补充:通用的join优化(1)空key过滤(2)空key转换三.分桶表的作用2.1数据的采样2.2提升查询效率(多表join优化)(一)小表join大表(二)中表join大表(三)大表join大表一.概述分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive可以进一步组织成,也就是更为细粒度的数据范围划分;分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径;分桶针对的是数据文件。分桶和分区的区别?分桶针对的是数据文件,分区针对的是数据

Hive执行计划之hive依赖及权限查询和常见使用场景

目录概述1.explaindependency的查询与使用2.借助explaindependency解决一些常见问题2.1.识别看似等价的SQL代码实际上是不等价的:2.2通过explaindependency验证将过滤条件在不同位置的查询区别3.查看SQL操作涉及到的相关权限信息概述Hive查看执行计划的命令中还有两个不怎么常用但很重要的命令,接下来详细介绍一下。有一个问题:如何在hiveSQL执行之前就探查到这段逻辑的血缘依赖关系?hive血缘是很多生产级数仓必须要提供的功能,大多数解决方案都是使用hivehooks的方法通过SQL执行后解析得到hive表的依赖关系。这个方案能细粒度到字段

hive中字符串查找函数 instr 和 locate

instr( )字符串查找函数:instr语法:instr(stringstr,stringsubstr)                                  --hive语法      instr(string str,stringsubstr[,bigintposition[,bingintoccurrence]]) --impala语法返回值:int说明: 返回字符串substr在str中 首次出现的位置 ,找不到返回0。instr(sourceString,destString,start,appearPosition) instr('源字符串','目标字符串','开始位

hive中字符串查找函数 instr 和 locate

instr( )字符串查找函数:instr语法:instr(stringstr,stringsubstr)                                  --hive语法      instr(string str,stringsubstr[,bigintposition[,bingintoccurrence]]) --impala语法返回值:int说明: 返回字符串substr在str中 首次出现的位置 ,找不到返回0。instr(sourceString,destString,start,appearPosition) instr('源字符串','目标字符串','开始位

hive中判断一个字符串是否包含另一个子串的四种方法,sql中也可用

hive中判断一个字符串是否包含另一个子串的四种方法如果你有一个数据需求,需要从一个字段中,判断是否有一个字符串,你该怎么做一、方法1:like和rlike最能想到的方法,用like或者rlikeselect"iwanttotouchfish"like("%fish%");那么rlike和like有什么区别呢,简而言之,rlike不用一些花里胡哨的,直接匹配就可以select"iwanttotouchfish"rlike("%fish%");如果换成这样select"iwanttotouchfish"rlike("fish");二、方法2:locate先看一下这个方法hive给出的解释返回第一

hive中判断一个字符串是否包含另一个子串的四种方法,sql中也可用

hive中判断一个字符串是否包含另一个子串的四种方法如果你有一个数据需求,需要从一个字段中,判断是否有一个字符串,你该怎么做一、方法1:like和rlike最能想到的方法,用like或者rlikeselect"iwanttotouchfish"like("%fish%");那么rlike和like有什么区别呢,简而言之,rlike不用一些花里胡哨的,直接匹配就可以select"iwanttotouchfish"rlike("%fish%");如果换成这样select"iwanttotouchfish"rlike("fish");二、方法2:locate先看一下这个方法hive给出的解释返回第一