草庐IT

无锡云数

全部标签

性能提升30%!袋鼠云数栈基于 Apache Hudi 的性能优化实战解析

ApacheHudi是一款开源的数据湖解决方案,它能够帮助企业更好地管理和分析海量数据,支持高效的数据更新和查询。并提供多种数据压缩和存储格式以及索引功能,从而为企业数据仓库实践提供更加灵活和高效的数据处理方式。在金融领域,企业可以使用Hudi来处理大量需要实时查询和更新的金融交易数据。在电商业务中,企业可以使用Hudi来跟踪订单数据,以及对订单进行实时更新和查询。在物流和供应链管理中,Hudi可以帮助企业实时处理和更新大量的物流数据,保证数据的一致性和可靠性。作为一站式大数据基础软件的袋鼠云数栈,基于ApacheHudi为客户提供了存量数据迁移、数据入湖、文件治理等完整支持能力。在这个过程中

字节跳动ByteHouse与亚马逊云科技携手打造新一代云数仓服务

随着全球化的发展,越来越多的中国企业开始涉足海外市场,开展跨境业务。在这个过程中,强大的数据分析能力是出海企业不可或缺的重要一环。通过有效的数据分析,能帮助企业更好地了解全球市场对产品的需求便于调整产品战略,以及更好地了解全球市场的消费者特点和偏好,从而进行有针对性地营销推广。然而,在面临数据分析业务出海时企业常遇到许多挑战。为帮助客户更好地解决这些问题,字节跳动ByteHouse与亚马逊云科技携手打造新一代云数仓服务,为中企出海业务保驾护航。ByteHouse是字节跳动旗下的一款云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析。便捷的弹性扩缩容能力,极致分析性能

以 100GB SSB 性能测试为例,通过 ByteHouse 云数仓开启你的数据分析之路

动手点关注干货不迷路I.传统数仓的演进:云数仓近年来,随着数据“爆炸式”的增长,越来越多的数据被产生、收集和存储。而挖掘海量数据中的真实价值,从其中提取商机并洞见未来,则成了现代企业和组织不可忽视的命题。随着数据量级和复杂度的增大,数据分析处理的技术架构也在不断演进。在面对海量数据分析时,传统OLAP技术架构中的痛点变得越来越明显,如扩容缩容耗时长,导致资源利用率偏低,成本居高不下;以及运维配置复杂,需要专业的技术人员介入等。为了解决这类问题,云数仓的概念应运而生。和传统数仓架构不同的是,云原生数仓借助于云平台的基础资源,实现了资源的动态扩缩容,并最大化利用资源,从而达到Payasyougo按

干货分享|袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

日常生产中HDFS上小文件产生是一个很正常的事情,同时小文件也是Hadoop集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可以展示对应项目占用情况和其表的占用情况

干货分享|袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

日常生产中HDFS上小文件产生是一个很正常的事情,同时小文件也是Hadoop集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可以展示对应项目占用情况和其表的占用情况

干货分享|袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

日常生产中HDFS上小文件产生是一个很正常的事情,同时小文件也是Hadoop集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可以展示对应项目占用情况和其表的占用情况

干货分享|袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

日常生产中HDFS上小文件产生是一个很正常的事情,同时小文件也是Hadoop集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可以展示对应项目占用情况和其表的占用情况

紫光云持续构建 “云数智”三维能力,让云与智能无处不在

在数字经济时代的今天,上云已经成为大部分企业的共识。随着云计算技术的不断发展,人工智能、大数据、物联网等技术也正式加速融入云中,云正在变成一种融合剂,成为百行百业数字化转型的核心基础设施。在智慧城市,智慧医疗、智慧教育等业务场景中,云已经无处不在,无所不及。基于此,越来越多的行业用户开始从传统架构转向云架构。不过,面对复杂多变的业务场景和行业特征,国内云市场从公有云、私有云等传统模式开始向行业云发展。在Gartner最新发布的企业机构在2023年需要探索的十大战略技术趋势中,将行业云平台列入十大战略技术趋势之一,足以见证行业云对于企业数字化转型的重要性。紫光云与智能事业群副总裁、紫光云技术有限

紫光云持续构建 “云数智”三维能力,让云与智能无处不在

在数字经济时代的今天,上云已经成为大部分企业的共识。随着云计算技术的不断发展,人工智能、大数据、物联网等技术也正式加速融入云中,云正在变成一种融合剂,成为百行百业数字化转型的核心基础设施。在智慧城市,智慧医疗、智慧教育等业务场景中,云已经无处不在,无所不及。基于此,越来越多的行业用户开始从传统架构转向云架构。不过,面对复杂多变的业务场景和行业特征,国内云市场从公有云、私有云等传统模式开始向行业云发展。在Gartner最新发布的企业机构在2023年需要探索的十大战略技术趋势中,将行业云平台列入十大战略技术趋势之一,足以见证行业云对于企业数字化转型的重要性。紫光云与智能事业群副总裁、紫光云技术有限

从Multirepo到Monorepo 袋鼠云数栈前端研发效率提升探索之路

一、困境频生前端代码管理何解?前端代码管理一直是困扰不少前端开发团队的难题,从开发到发布的整体工作流程中,除了常规的技术问题外,往往还伴随着沟通成本、维护成本及协作效率等问题。这些问题在团队规模较小的时候可能不太明显,但是当团队规模变大时就矛盾越发凸显。数栈前端开发团队负责着离线开发,实时开发,数据服务等多条产品线的开发和维护工作,面对众多的产品线,如何合理的管理代码,成了团队需要思考的问题,虽然借助了Multirepo进行管理,但还是遇到了许多难题:●私有源维护成本增加为复用相关业务逻辑,团队内部抽象出一些私有包,由于不能在公网暴露,为了管理这些私有包团队使用了私有源,但由于搭建私有源服务器