I.传统数仓的演进：云数仓近年来，随着数据“爆炸式”的增长，越来越多的数据被产生、收集和存储。而挖掘海量数据中的真实价值，从其中提取商机并洞见未来，则成了现代企业和组织不可忽视的命题。随着数据量级和复杂度的增大，数据分析处理的技术架构也在不断演进。在面对海量数据分析时，传统OLAP技术架构中的痛点变得越来越明显，如扩容缩容耗时长，导致资源利用率偏低，成本居高不下；以及运维配置复杂，需要专业的技术人员介入等。为了解决这类问题，云数仓的概念应运而生。和传统数仓架构不同的是，云原生数仓借助于云平台的基础资源，实现了资源的动态扩缩容，并最大化利用资源，从而达到Payasyougo按实际用量付费的模式。
首先回答一个问题,数仓工程师的职责是什么?个人认为就是要使得数据流通起来,把数据从一个地方传输到另一个地方,在当前的大数据技术发展背景下,大多数的数仓人员都是使用SQL来实现数据的流通的,大数据技术SQL化对企业来说是好事,更容易维护,更容易找到下一个开发者,但是对从业人员是坏事,SQL谁不会写啊,换言之就是门槛低,没有较高的职业壁垒,于是我们焦虑了....确实如此,好用的工具必然要淘汰难用的工具的,工具是越来越好用的,易用的,比如是Kylin,2016年左右还是有非常多的互联网公司使用的,但是现如今几乎没有一线的互联网公司使用的,这是出现了更好用的工具,例如是clickhouse,starr
一、数据模型架构规范 1.数据层次的划分 ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。 CDM：CommonDataModel，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。DWD：DataWarehouseDetail，明细数据层。DWS：DataWarehouseSummary，汇总数据层。 ADS：App
系列文章目录【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事【SQL开发实战技巧】系列（二）：简单单表查询【SQL开发实战技巧】系列（三）：SQL排序的那些事【SQL开发实战技巧】系列（四）：从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列（五）：从执行计划看IN、EXISTS和INNERJOIN效率，我们要分场景不要死记网上结论【SQL开发实战技巧】系列（六）：从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率，记住内外关联条件不要乱放【SQL开发实战技巧】系列（七）：从有重复数据前提下如何比较出两个表中的差异数据及
一、了解虚拟化虚拟机化是什么？将服务器物理资源抽象成逻辑资源，让一台物理服务器变成多台相互隔离的虚拟服务器。采用云计算数据中心解决方案后，可以让硬件资源利用率更好、能耗更低；从而避免了大量的服务器空间、电力资产浪费。虚拟化能做什么？通过两台冗余DELL服务器作为计算节点、NetAPP双控制器存储作为共享存储和两台冗余万兆交换机搭建部署VMware虚拟化私有云平台。业务虚拟机合理分配：CPU核心数、内存大小、磁盘大小。并且两台计算节点高可用资源必须满足当前业务虚拟机性能分别负载50%，防止某计算机节点故障或者宕机而不中断业务。两台VMwarevSphere通过以太网10GBNFS协议方式分别挂载
1.引言在当今互联网时代，移动应用和网页应用的发展极大地推动了前后端分离开发模式的兴起。传统的后端渲染方式已经不能满足用户对高性能和优质用户体验的需求，于是前后端分离逐渐成为了一种主流的开发模式。前后端分离开发模式通过将前端和后端的开发分离，极大地提高了开发效率和团队协作。前端开发人员专注于用户界面和交互逻辑的开发，后端开发人员则专注于数据处理和业务逻辑实现，极大地减少了彼此的依赖和开发时间。前后端分离开发模式的优势在于能够提高前端性能和用户体验、降低系统的耦合度、支持跨平台开发等。然而，也要面对一些挑战，如跨域问题、对前后端开发人员需求的不同等。因此，团队需要充分了解开发模式的特点和挑战，做
传统服务器 传统服务器即物理服务器，是指独立服务器，也就是指物理上的单独服务器，物理服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。裸机物理服务器(BMS)裸机服务器的官方定义是：裸机服务器也称为单租户环境下的物理服务器。它由一台或多台独立的服务器组成。是服务器领域的新生事物，是虚拟服务器。用于机器灵活性和物理机器性能的计算服务是云上的专用物理服务器。一般来说，裸机服务器是传统物理服务器的升级版。也可以说是物理服务器和云主机之间的一种形式。它不仅具有传统物理服务器的优异性能，还具有与云主机一样的便捷管理。该平台结合了双方的优势。在满足核心应用场景高性能和稳定性要求的同
供应链是指到达消费者手中之前各相关者的连接或业务的衔接。也即是由物料获取，物料加工，并将成品送到用户手中这一过程所涉及到的企业与供应商形成的一个网络。党的十九大报告提出“在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能”。这是党中央首次提出现代供应链概念，标志着“现代供应链”发展正式上升为国家战略。当前，我国经济已由高速增长阶段转向高质量发展阶段，正处在转变发展方式、优化经济结构、转换增长动力的攻关期。要实现经济高质量发展、建设现代化经济体系，迫切需要以发展现代供应链为抓手，发挥供应链助推供给侧结构性改革、促进资源优化配置和经济质量、效率提升的
N.1什么是数据仓库1）数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2）数据仓库的定义:数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合，用于支持管理决策，它是一种与时间相关的、不可修改的数据集合N.2数据仓库能干什么？1）年度销售目标的指定，需要根据以往的
图像处理图像处理是用计算机对图像进行分析，以获取所需结果的过程，又称为影像处理。图像处理一般是指数字图像的处理。数字图像是用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像模糊均值滤波均值滤波是指任意一点的像素值，都是周围NxM个像素值的均值。指通过将图像与低通滤波器内核进行卷积来实现图像模糊，这对于消除噪声很有用。OpenCv里可以用cv2.blur(img,(3,3))函数实现图像的均值滤波。第二个参数（3，3）称为滤波核。中值滤波在使用邻域平均法去噪的同时也使得边界变得模糊。而中值滤波是非线性的图像处理方法，在去噪的同时可以兼顾到边
