草庐IT

数仓建设

全部标签

bucket表:数仓存算分离中CU与DN解绑的关键

摘要:Bucket存储是数据共享中重要的一环,当前阶段,bucket存储可以将列存中的CU数据和DN节点解绑。本文分享自华为云社区《存算分离之bucket表——【玩转PB级数仓GaussDB(DWS)】》,作者:yd_278301229。在云原生环境,用户可以自由配置cup型号、内存、磁盘、带宽等资源,需要在计算和IO之间做平衡;如果计算和存储耦合,扩缩容时数据要在节点之间移动,同时还要对外提供计算,性能会大受影响。如果存算分离,计算出和存储层可以独立增加节点互不干扰,这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环,当前阶段,bucket存储可以将列存中的CU数据和DN

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

摘要:本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》,作者:譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异),本文针对根因和场景触发场景,确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

摘要:本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》,作者:譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异),本文针对根因和场景触发场景,确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在

质量保障体系建设演进案例

质量保障体系建设演进案例     在业务早期发展阶段,主要是产品驱动、研发和测试互相配合。不同的测试方法是验证和保障交付质量的手段,而不是构建质量体系的基石。测试的努力带来的更多是一些“安全感”,而非安全保障。因此,要做到高质量的交付,就需要回到质量的本质,好的产品依赖于其底层设计。质量设计核心思路是“好的质量是设计出来的,而非测试出来的”。保障质量需要尽可能地“设计先行”,在前期充分讨论需求,严格把关设计,把质量问题在源头解决。与之相对应的则是,不同于早期阶段的完成测试动作,团队需要从交付质量保障转入质量共建。     看图说话,容易得出:大部分缺陷都是早期引入的,同时大部分缺陷都是中晚期发

质量保障体系建设演进案例

质量保障体系建设演进案例     在业务早期发展阶段,主要是产品驱动、研发和测试互相配合。不同的测试方法是验证和保障交付质量的手段,而不是构建质量体系的基石。测试的努力带来的更多是一些“安全感”,而非安全保障。因此,要做到高质量的交付,就需要回到质量的本质,好的产品依赖于其底层设计。质量设计核心思路是“好的质量是设计出来的,而非测试出来的”。保障质量需要尽可能地“设计先行”,在前期充分讨论需求,严格把关设计,把质量问题在源头解决。与之相对应的则是,不同于早期阶段的完成测试动作,团队需要从交付质量保障转入质量共建。     看图说话,容易得出:大部分缺陷都是早期引入的,同时大部分缺陷都是中晚期发

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

摘要:本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》,作者:譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异),本文针对根因和场景触发场景,确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

摘要:本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》,作者:譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异),本文针对根因和场景触发场景,确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在

医药行业数字化建设,箭在弦上

"十四五"期间,由于相关部门对医疗体制进行改革并且加强药品监管,我国医药工业销售收入的增长速度与"十三五"期间相比略有放缓。但近两年,受到社会面疫情的影响,结合社会大环境下的种种因素,医药行业得到了快速发展。在国家政策优待和社会面的迫切需求催发下,医药产业势如破竹。在此背景下,其产业结构逐渐向创新驱动转型,以实现全面高质量发展。我们也看到了众多医药制造产业蓄势待发,搭乘数字化的快车,驶入高速发展的快车道。十四五规划中《规划》任务第四条指出,推动医药制造能力系统升级:一、持续提高质量安全水平,提升重点领域产品质量,强化企业质量主体责任,健全质量监管体系。二、是推动产业数字化转型,以新一代信息技术

医药行业数字化建设,箭在弦上

"十四五"期间,由于相关部门对医疗体制进行改革并且加强药品监管,我国医药工业销售收入的增长速度与"十三五"期间相比略有放缓。但近两年,受到社会面疫情的影响,结合社会大环境下的种种因素,医药行业得到了快速发展。在国家政策优待和社会面的迫切需求催发下,医药产业势如破竹。在此背景下,其产业结构逐渐向创新驱动转型,以实现全面高质量发展。我们也看到了众多医药制造产业蓄势待发,搭乘数字化的快车,驶入高速发展的快车道。十四五规划中《规划》任务第四条指出,推动医药制造能力系统升级:一、持续提高质量安全水平,提升重点领域产品质量,强化企业质量主体责任,健全质量监管体系。二、是推动产业数字化转型,以新一代信息技术

别让避免重复建设成为运维数字化转型的绊脚石

​昨天改名后的“江苏省信息应用技术学会”举办了第一节“信息应用技术大会”,我参加了电力数字化转型分会场的活动。与会者大多数是能源行业的从业者,所以大家讨论问题时都比较实际。从电力业务数字化转型经验,特别是遇到的问题中,我产生了很多共鸣。特别能触发我的思想的是“变革”两个字,企业业务信息化是流程自动化为驱动的变革,而企业业务数字化是数据模型为驱动的变革。在企业信息化变革颠覆传统电算化的过程中,几乎所有的信息系统都全部被抛弃,并重新设计了,这奠定了最近20年信息化的巨大成功。而在数字化变革到来的时候,很多人不愿意颠覆信息化的成功,只愿意在原有信息化系统的基础上修修补补,希望能够借此实现数字化转型。