文章目录一、过滤函数二、filter函数原型三、filter过滤函数代码示例1、filter函数简单示例2、filter过滤函数与flatMap变换函数组合使用示例3、filter过滤函数与map变换函数组合使用示例四、合并函数1、zip合并函数2、folder合并函数五、函数式编程意义函数式编程的三种函数类别:变换Transform过滤Filter合并Combine在上一篇博客函数式编程①中讲解了变换函数map函数与flatMap函数,本篇博客中着重讲解过滤函数和合并函数;一、过滤函数过滤函数是函数式编程中的函数类型,一般该类型函数接收一个Predicate谓词函数作为参数;该谓词函数参数是
文章目录一、过滤函数二、filter函数原型三、filter过滤函数代码示例1、filter函数简单示例2、filter过滤函数与flatMap变换函数组合使用示例3、filter过滤函数与map变换函数组合使用示例四、合并函数1、zip合并函数2、folder合并函数五、函数式编程意义函数式编程的三种函数类别:变换Transform过滤Filter合并Combine在上一篇博客函数式编程①中讲解了变换函数map函数与flatMap函数,本篇博客中着重讲解过滤函数和合并函数;一、过滤函数过滤函数是函数式编程中的函数类型,一般该类型函数接收一个Predicate谓词函数作为参数;该谓词函数参数是
文章目录场景模拟问题描述Hive谓词下推谓词下推概念PPD配置基本概念官网解释规则总结规则表特殊说明结论场景模拟数仓实际开发中经常会涉及到多表关联，这个时候就会涉及到on与where的使用。如果对这两者在数仓中的作用比较混乱的，读完这一文就可以理解透彻了。先来说一下where与on在SQL中最直观的区别on在筛选条件的时候，on会显示所有满足|不满足条件的数据(补NULL)，而where只显示满足条件的数据。on对join类型(内外连接)的改变而会有反应而where没有，对where来说只是当个连接作用。上面的说法就不具体举例验证了，这里我们主要研究where与on在hive中对性能的影响，有
文章目录场景模拟问题描述Hive谓词下推谓词下推概念PPD配置基本概念官网解释规则总结规则表特殊说明结论场景模拟数仓实际开发中经常会涉及到多表关联，这个时候就会涉及到on与where的使用。如果对这两者在数仓中的作用比较混乱的，读完这一文就可以理解透彻了。先来说一下where与on在SQL中最直观的区别on在筛选条件的时候，on会显示所有满足|不满足条件的数据(补NULL)，而where只显示满足条件的数据。on对join类型(内外连接)的改变而会有反应而where没有，对where来说只是当个连接作用。上面的说法就不具体举例验证了，这里我们主要研究where与on在hive中对性能的影响，有
1. 特点1.1. 将多行数据作为整体来表达高级的条件1.2. 使用关联子查询时性能仍然非常好1.3. EXISTS的参数不像是单一值1.3.1. 参数是行数据的集合2. 什么是谓词2.1. 一种特殊的函数，返回值是真值2.2. 返回值都是true、false或者unknown2.2.1. 一般的谓词逻辑里没有unknown2.2.2. SQL采用的是三值逻辑，因此具有三种真值2.3. 谓词逻辑提供谓词是为了判断命题（可以理解成陈述句）的真假2.3.1. 为命题分析提供了函数式的方法2.4. 只有能让WHERE子句的返回值为真的命题，才能从表（命题的集合）中查询到3. 谓词的阶3.1. 阶（o
1. 特点1.1. 将多行数据作为整体来表达高级的条件1.2. 使用关联子查询时性能仍然非常好1.3. EXISTS的参数不像是单一值1.3.1. 参数是行数据的集合2. 什么是谓词2.1. 一种特殊的函数，返回值是真值2.2. 返回值都是true、false或者unknown2.2.1. 一般的谓词逻辑里没有unknown2.2.2. SQL采用的是三值逻辑，因此具有三种真值2.3. 谓词逻辑提供谓词是为了判断命题（可以理解成陈述句）的真假2.3.1. 为命题分析提供了函数式的方法2.4. 只有能让WHERE子句的返回值为真的命题，才能从表（命题的集合）中查询到3. 谓词的阶3.1. 阶（o
目录1.什么是谓词2.什么是下推3.什么是谓词下推4.一些常见的应用4.1传统数据库应用4.2Hive中的谓词下推4.3列式存储中的谓词下推今天有个小伙伴问我，什么是谓词下推，然后我就开启巴拉巴拉模式，说了好长一段时间，结果发现他还是懵的。最后我概述给他一句话：所谓谓词下推，就是将尽可能多的判断更贴近数据源，以使查询时能跳过无关的数据。用在SQL优化上来说，就是先过滤再做聚合等操作。看到这里的朋友可能就已经明白了什么是谓词下推，如果仅为了解有啥用，看到这里就可以退出了，如果想告诉别人这是个啥（高大上）那且听我细细道来。要理解谓词下推，应该从两个方面来看，即谓词和下推两部分。1.什么是谓词pre
目录1.什么是谓词2.什么是下推3.什么是谓词下推4.一些常见的应用4.1传统数据库应用4.2Hive中的谓词下推4.3列式存储中的谓词下推今天有个小伙伴问我，什么是谓词下推，然后我就开启巴拉巴拉模式，说了好长一段时间，结果发现他还是懵的。最后我概述给他一句话：所谓谓词下推，就是将尽可能多的判断更贴近数据源，以使查询时能跳过无关的数据。用在SQL优化上来说，就是先过滤再做聚合等操作。看到这里的朋友可能就已经明白了什么是谓词下推，如果仅为了解有啥用，看到这里就可以退出了，如果想告诉别人这是个啥（高大上）那且听我细细道来。要理解谓词下推，应该从两个方面来看，即谓词和下推两部分。1.什么是谓词pre
目录一、什么是谓词二、LIKE谓词——字符串的部分一致查询2.1前方一致查询2.2中间一致查询2.3后方一致查询三、BETWEEN谓词——范围查询四、ISNULL、ISNOTNULL——判断是否为NULL五、IN谓词——OR的简便用法六、使用子查询作为IN谓词的参数6.1IN和子查询6.2NOTIN和子查询七、EXIST谓词7.1EXISTS谓词的使用方法7.2EXISTS的参数7.3子查询中的SELECT*7.4使用NOTEXISTS替换NOTIN本文将会和大家一起学习SQL的搜索条件中不可或缺的工具——谓词（predicate）。SQL谓词就是返回值为TRUE、FALSE或UNKNOWN的
目录一、什么是谓词二、LIKE谓词——字符串的部分一致查询2.1前方一致查询2.2中间一致查询2.3后方一致查询三、BETWEEN谓词——范围查询四、ISNULL、ISNOTNULL——判断是否为NULL五、IN谓词——OR的简便用法六、使用子查询作为IN谓词的参数6.1IN和子查询6.2NOTIN和子查询七、EXIST谓词7.1EXISTS谓词的使用方法7.2EXISTS的参数7.3子查询中的SELECT*7.4使用NOTEXISTS替换NOTIN本文将会和大家一起学习SQL的搜索条件中不可或缺的工具——谓词（predicate）。SQL谓词就是返回值为TRUE、FALSE或UNKNOWN的
