文章目录一、维表join介绍二、TemporalTableJoin三、维表Join案例3.1、背景3.2、实践3.2.1、维表存储在MySQL中3.2.2、事实数据存在kafka3.2.3、创建MySQL的结果表，表示区域销量3.2.4、用户行为数据与省份维表数据join3.2.5、计算区域的销量，并将计算结果写入MySQL本文基于flink-1.13.6一、维表join介绍维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中
前言小弟最近在开发一个项目时遇到了有点困扰我的问题，很有意思，而且也值得记录一下，希望对大家有用场景：我们有两个表，一个订单表表示t1，一个是订单的明细表t2，t2表中包含用户购买的各个产品，他们是根据订单编号关联的，当我用t1作为驱动表leftjoin连接t2表时没用到索引，但是用t2表连接t1表时，就用到了全文检索，很奇怪！因为按照我们通常的想法都是小表驱动大表业务要求：1.根据产品名称或产品型号或订单编号模糊查询这个订单的所有信息2：不能用like，所以用的是全文检索说明：这篇博客最大的作用不是教大家怎么解决，而是分析为什么会这样！文章目录前言准备问题t1leftjoint2t2left
前言小弟最近在开发一个项目时遇到了有点困扰我的问题，很有意思，而且也值得记录一下，希望对大家有用场景：我们有两个表，一个订单表表示t1，一个是订单的明细表t2，t2表中包含用户购买的各个产品，他们是根据订单编号关联的，当我用t1作为驱动表leftjoin连接t2表时没用到索引，但是用t2表连接t1表时，就用到了全文检索，很奇怪！因为按照我们通常的想法都是小表驱动大表业务要求：1.根据产品名称或产品型号或订单编号模糊查询这个订单的所有信息2：不能用like，所以用的是全文检索说明：这篇博客最大的作用不是教大家怎么解决，而是分析为什么会这样！文章目录前言准备问题t1leftjoint2t2left
文章目录概述pom.xmlMySQL建表对应Flink的建表SQLLookupJoinFlinkSQL完整Java代码概述lookupjoin通常是查询外部系统的数据来充实FlinkSQL的主表例如：事实表关联维度表，维度表在外部系统（如MySQL）要求：1个表具有处理时间属性（基于ProcessingTimeTemporalJoin语法）语法上，和一般JOIN比较，多了FORSYSTEM_TIMEASOF另1个表由连接器（alookupsourceconnector）支持LookupCache默认情况下，不启用LookupCache可设置lookup.cache.max-rows和looku
文章目录概述pom.xmlMySQL建表对应Flink的建表SQLLookupJoinFlinkSQL完整Java代码概述lookupjoin通常是查询外部系统的数据来充实FlinkSQL的主表例如：事实表关联维度表，维度表在外部系统（如MySQL）要求：1个表具有处理时间属性（基于ProcessingTimeTemporalJoin语法）语法上，和一般JOIN比较，多了FORSYSTEM_TIMEASOF另1个表由连接器（alookupsourceconnector）支持LookupCache默认情况下，不启用LookupCache可设置lookup.cache.max-rows和looku
区别：返回不同1、innerjoin只返回两个表中联结字段相等的行2、leftjoin的数量小于等于左表和右表中的记录数量。数量不同1、innerjoin返回包括左表中的所有记录和右表中联结字段相等的记录。2、leftjoin的数量以左表中的记录数量相同记录属性不同1、innerjoin不足的记录属性会被直接舍弃2、leftjoin不足的记录属性用NULL填充innerjoin场景设计两张表：channel频道表：有频道id、频道name等module模块表：模块id、模块name、channe_id。页面展示频道时，可能会有新增了一个频道但是没有模块，此时不能用innerjoin不然新增的模
区别：返回不同1、innerjoin只返回两个表中联结字段相等的行2、leftjoin的数量小于等于左表和右表中的记录数量。数量不同1、innerjoin返回包括左表中的所有记录和右表中联结字段相等的记录。2、leftjoin的数量以左表中的记录数量相同记录属性不同1、innerjoin不足的记录属性会被直接舍弃2、leftjoin不足的记录属性用NULL填充innerjoin场景设计两张表：channel频道表：有频道id、频道name等module模块表：模块id、模块name、channe_id。页面展示频道时，可能会有新增了一个频道但是没有模块，此时不能用innerjoin不然新增的模
使用方法安装Mavencom.github.yulichangmybatis-plus-join1.2.4Gradleimplementation'com.github.yulichang:mybatis-plus-join:1.2.4'或者clone代码到本地执行mvninstall,再引入以上依赖注意:mybatisplusversion>=3.4.0推荐一个开源免费的SpringBoot最全教程：https://github.com/javastacks/spring-boot-best-practice使用mapper继承MPJBaseMapper(必选)service继承MPJBas
使用方法安装Mavencom.github.yulichangmybatis-plus-join1.2.4Gradleimplementation'com.github.yulichang:mybatis-plus-join:1.2.4'或者clone代码到本地执行mvninstall,再引入以上依赖注意:mybatisplusversion>=3.4.0推荐一个开源免费的SpringBoot最全教程：https://github.com/javastacks/spring-boot-best-practice使用mapper继承MPJBaseMapper(必选)service继承MPJBas
使用方法安装Mavencom.github.yulichangmybatis-plus-join1.2.4Gradleimplementation'com.github.yulichang:mybatis-plus-join:1.2.4'或者clone代码到本地执行mvninstall,再引入以上依赖注意:mybatisplusversion>=3.4.0推荐一个开源免费的SpringBoot最全教程：https://github.com/javastacks/spring-boot-best-practice使用mapper继承MPJBaseMapper(必选)service继承MPJBas
