草庐IT

DWD层渐变维之拉链表

Eqo 2023-03-28 原文

背景

历史数据更新问题

例如：

  • MySQL中有一张用户表：tb_user，每个用户注册完成以后，就会在用户表中新增该用户的信息，记录该用户的id、手机号码、用户名、性别、地址等信息。
  • 每天都会有用户注册，产生新的用户信息
  • 每天都需要将MySQL中的用户数据同步到Hive数据仓库中

  • 需要对用户的信息做统计分析，例如统计新增用户的个数、用户性别分布、地区分布、运营商分布等指标
    当已经同步了的数据发生了改变


    image.png

解决方案

解决问题 主要思考的是历史数据要不要保留的问题,如果不保留可以采取
方案一,直接全覆盖,把mysql的新的数据直接覆盖掉hive表中的数据
方案二,每次数据改变，根据日期构建一份全量的快照表，每天一张表
方案三,拉链表,通过时间标记发生变化的数据的每种状态的时间周期

拉链表.png

设计

拉链表专门用于解决在数据仓库中数据发生变化如何实现数据存储的问题。
在建表的时候新建两个字段start_time end_time 用来记录开始时间和结束时间,如果结束时间是9999-12-31 表明这条记录现在有效是最新状态

拉链表如何设计实现.png

1.设计表时新增加两个字段start_time 和end_time,通常以9999-12-31为结束时间,表示数据有效
2.增量采集数据放入增量表中(增量表中的结果集1是最终结果集的一部分)
3.拉链表a left join 增量表b
4.如果b.user为null 表示原数据没有更新,如果b.user为null 且a.endtime为9999-12-31表示这条数据,发生了更新,需要把a.endtime 改为b.start_time的前一天) 查询结果集为2
5.两个结果集unionall 覆盖插入到拉链表

实现

--创建拉链表
create table test.dw_zipper(
                          userid string,
                          phone string,
                          nick string,
                          gender int,
                          addr string,
                          starttime string,
                          endtime string
) row format delimited fields terminated by '\t';

--创建增量采集表
create table test.ods_zipper_update(
                                  userid string,
                                  phone string,
                                  nick string,
                                  gender int,
                                  addr string,
                                  starttime string,
                                  endtime string
) row format delimited fields terminated by '\t';
--实现数据同步

insert overwrite table test.dw_zipper
select userid, phone, nick, gender, addr, starttime, endtime
from test.ods_zipper_update
union all
select a.userid,
       a.phone,
       a.nick,
       a.gender,
       a.addr,
       a.starttime,
       if(b.userid != 'null' and a.endtime == "9999-12-31",date_sub( b.starttime ,1),a.endtime   ) endtime
from test.dw_zipper a left join test.ods_zipper_update b on a.userid=b.userid order by userid;
拉链DWDsectionstring

有关DWD层渐变维之拉链表的更多相关文章

  1. javascript - SVG 向圆环图添加径向渐变 - 2

    我正在用d3.js绘制图表。是否可以向圆环图添加径向渐变，这张图片怎么样？ 最佳答案 假设圆弧部分是已填充的路径元素，您可以使用径向渐变来获得该结果。参见thissimilarquestion，我们可以重用这个例子来达到:vardataset={apples:[53245,28479,19697,24037,40245],};varwidth=460,height=300,radius=Math.min(width,height)/2;varcolor=d3.scale.category20();varpie=d3.layout.p

  2. javascript - 是否可以使用图像或 CSS 渐变来填充 Google map 中的水域？ - 2

    我目前正在从事某个元素，需要将下一个设计实现到Googlemap。我没有在谷歌地图样式引用中找到任何线索来回答这个问题-https://developers.google.com/maps/documentation/javascript/style-reference所以，我想知道-是否有可能(仅使用API)？或者需要一些技巧？例如，我考虑过让水域透明并将虚线图像放在map后面。提前致谢! 最佳答案 在这个回答中，我将讨论关闭map上水几何体的可见性并设置map背后的背景颜色。首先，如前一个答案所述，您必须关闭map的可见性。您可

  3. javascript - 动画渐变颜色 React Native - 2

    我正在尝试在ReactNative中创建一个渐变，该渐变将在应用程序打开时以一种颜色开始，然后每30秒逐渐变为另一种颜色。常规线性渐变在不尝试添加动画的情况下工作。我尝试使用插值和动画计时，如ReactNative文档中所示，但似乎没有任何效果。我的代码:importReact,{Component}from'react';import{processColor,AppRegistry,StyleSheet,Dimensions,Animated,Image,Easing,View}from'react-native';importTimerMixinfrom'react-timer-

  4. 详细记录拉链表的实现过程 - 2

    面试中被问到了，想了会儿思路混乱没答好，还是理解的不够深刻，重新好好理解记录一下~拉链表的用途，主要是用来在数仓中记录业务库数据的全部历史信息和当前最新信息，也就是用来实现对渐变维的记录。数仓中对渐变维的记录通常有三种实现方式：1）直接更新，也就是用业务库中发生变化的数据覆写数仓中的数据，这种实现方式可以保持数仓与业务库数据保持一致，缺点是只能保存当前最新的数据，对这条数据修改之前的历史数据不做维护，一般很少采用这种实现方式，除非历史数据本身就是错误的，没有使用价值。2）通过在数仓中对经常发生变化的字段新增列来保存历史记录，比如用两个列来记录用户居住地这个属性，分别命名为previous_ho

  5. javascript - Flot 上的渐变 - 2

    如何在饼图上设置渐变效果？[{label:i,data:1000,color:["rgb(190,110,110)","rgb(140,70,70)","rgb(110,50,50)","rgb(60,10,10)"]},//nextserie]不起作用。另外，如何将渐变效果设置为图表的默认颜色？您可以按数字对其进行索引，例如:[{label:i,data:1000,color:1,},//nextserie] 最佳答案 我现在添加了对使用径向或线性渐变渲染饼图的支持。pullrequest#853中引用了我的提交.带有径向渐变的“

  6. javascript - 如何为大像素的渐变制作动画？ - 2

    我正在做一个项目，我希望黑暗覆盖屏幕，Angular色在黑暗中发光。我尝试为场景设置动画，然后使用以下代码在其上绘制黑暗:varcanvas=document.getElementById('canvas');varctx=canvas.getContext('2d');varcanvasWidth=canvas.width;varcanvasHeight=canvas.height;varpixelSize=30;varwidth=canvasWidth/pixelSize;varheight=canvasHeight/pixelSize;varlightX=canvasWidth/

  7. javascript - 将线性渐变拆分为一个对象 - 2

    这个问题在这里已经有了答案:parsecssgradientrulewithJavascriptregex(3个答案)关闭5年前。我想将linear-gradient值拆分为具有键和值的object。我有这个:linear-gradient(10deg,#111,rgba(111,111,11,0.4),rgba(255,255,25,0.1))我想要这样:linear-gradient:{angle:'10deg',color1:'#111',color2:'rgba(111,11,11,0.4)',color3:'rgba(255,255,25,0.1)',}已编辑:我尝试了我的代

  8. 安卓渐变的背景框实现 - 2

    安卓渐变的背景框实现1.背景实现方法1.利用PorterDuffXfermode进行图层的混合，这是最推荐的方法，也是最有效的。2.利用canvas裁剪实现，这个方法有个缺陷，就是圆角会出现毛边，也就是锯齿。3.利用layer绘制边框1.背景万恶的设计小姐姐又来搞事情啦，你说好好的设计一个纯色的背景框框不好嘛，非要把一个框框弄成渐变的，如果不拿出放大镜估计没几个人能看出来它是渐变的。来，我让你看看是啥样框子是从左到右渐变的，设计应该是做了一个底图，然后上面盖了一个白色圆角矩形。那么我们该怎么去实现它呢？实现方法下面介绍三种实现它的方法。先贴上源码地址，大家记得给个starhttps://git

  9. javascript - ChartJS 圆环图渐变填充 - 2

    所以我尝试为ChartJS圆环图制作渐变填充，但这只能在水平方向上使用，而不是在圆形中使用。这是我正在使用的代码:varctx=document.getElementById("chart-area").getContext("2d");vargradient1=ctx.createLinearGradient(0,0,0,175);gradient1.addColorStop(0.0,'#ACE1DB');gradient1.addColorStop(1.0,'#7FBDB9');vargradient2=ctx.createLinearGradient(0,0,400,400);g

  10. javascript - 获取带有渐变的colorbar中特定位置的颜色值 - 2

    我使用CSS3样式(fiddle)生成了一个渐变颜色条，现在想要该颜色条中特定位置的颜色值(通过x和y坐标)。据我所知，没有直接的方法可以做到这一点。我看到两个选项:在JavaScript中实现梯度算法并从头开始计算值。是否有确切的定义该算法如何适用于多种颜色？渐变在每个浏览器中看起来都一样吗？使用canvas和createLinearGradient方法绘制渐变，直接访问Canvas获取颜色值。还有其他选择吗？ 最佳答案 我选择实现您的第一个解决方案(使用JavaScript计算渐变)。这意味着您不需要依赖对canvas元素的支持

随机推荐