草庐IT

DataLeap的Catalog系统近实时消息同步能力优化

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 摘要字节数据中台DataLeap的DataCatalog系统通过接收MQ中的近实时消息来同步部分元数据。ApacheAtlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方案在ToB场景中也存在诸多限制,所以团队自研了轻量级异步消息处理框架,很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景,并详细介绍框架的设计与实现。背景动机字节数据中台DataLeap的DataCatalog系统基于ApacheAtlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息

DataLeap的Catalog系统近实时消息同步能力优化

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 摘要字节数据中台DataLeap的DataCatalog系统通过接收MQ中的近实时消息来同步部分元数据。ApacheAtlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方案在ToB场景中也存在诸多限制,所以团队自研了轻量级异步消息处理框架,很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景,并详细介绍框架的设计与实现。背景动机字节数据中台DataLeap的DataCatalog系统基于ApacheAtlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息

年近三十,真的卷不动了

  年近三十,真的卷不动了,新技术层出不穷,这个还没摸清门道,那个就已经开始流行使用了。跟其他行业的朋友吐槽,他说你学呀,你们这行不就是终身学习的嘛。  我苦笑,平时早上七八点出门工作一天到家晚上七点,不加班都头昏脑涨,只想躺平,如果加班更不用说了。那么晚回来还能看技术文档刷视频敲代码学习的那真的是个狼火。  前段时间听一个前同事讲,现在出门面个试,一堆堆听都没听说过的概念能把你问得怀疑人生。.NET都这么卷,更不用说java了,据说三四年经验的java岗你要没研究过常用框架底层源码你都不好意思投简历。  我突然意识到,真的,我得找退路了,对于没天赋卷又卷不过别人的我,不用35岁,30即是我迈

年近三十,真的卷不动了

  年近三十,真的卷不动了,新技术层出不穷,这个还没摸清门道,那个就已经开始流行使用了。跟其他行业的朋友吐槽,他说你学呀,你们这行不就是终身学习的嘛。  我苦笑,平时早上七八点出门工作一天到家晚上七点,不加班都头昏脑涨,只想躺平,如果加班更不用说了。那么晚回来还能看技术文档刷视频敲代码学习的那真的是个狼火。  前段时间听一个前同事讲,现在出门面个试,一堆堆听都没听说过的概念能把你问得怀疑人生。.NET都这么卷,更不用说java了,据说三四年经验的java岗你要没研究过常用框架底层源码你都不好意思投简历。  我突然意识到,真的,我得找退路了,对于没天赋卷又卷不过别人的我,不用35岁,30即是我迈

近40年银行核心系统变迁历程及新建设模式

 本文详细介绍了我国银行核心系统的定义、位置与边界,发展历程、更换核心系统的原因,以及新核心建设的五大模式与其特点对比。希望内容能够帮助银行科技从业者建立起对银行核心系统的整体认知,提供一定积极的指导作用与借鉴意义,从而引发思考并促进行业交流与探讨,共同为我国的银行科技蓬勃发展贡献自己的智慧与经验。 在这里,特别要感谢张广老师,对我国银行核心系统的发展历程部分进行了完善和补充,特别是关于目前业内流行的分布式微服务组建模式,学到很多。希望后续有更多的小伙伴来分享自己的见解或想法,一起思维碰撞,探索更多可能…… 此文分为以下五部分: 一、银行核心系统的定义与边界二、我国银行核心系统的发展历程三、银

近40年银行核心系统变迁历程及新建设模式

 本文详细介绍了我国银行核心系统的定义、位置与边界,发展历程、更换核心系统的原因,以及新核心建设的五大模式与其特点对比。希望内容能够帮助银行科技从业者建立起对银行核心系统的整体认知,提供一定积极的指导作用与借鉴意义,从而引发思考并促进行业交流与探讨,共同为我国的银行科技蓬勃发展贡献自己的智慧与经验。 在这里,特别要感谢张广老师,对我国银行核心系统的发展历程部分进行了完善和补充,特别是关于目前业内流行的分布式微服务组建模式,学到很多。希望后续有更多的小伙伴来分享自己的见解或想法,一起思维碰撞,探索更多可能…… 此文分为以下五部分: 一、银行核心系统的定义与边界二、我国银行核心系统的发展历程三、银

离大厂近一点《阿里Web安全测试规范》专家著作

很多人都知道,在学校学的技术,初创公司的技术,外包公司的技术,自研公司的技术跟互联网大厂的技术有天壤之别,几乎所有在互联网这个圈子里的人都有一个“大厂梦”,因为进了大厂意味着更先进的技术,更高的薪资,更优秀的同事跟领导,更好的成长空间。甚至你只要是从大厂出来,以后找工作都要方便很多。今天,我们就离大厂更近一点,共同学习阿里这份《阿里巴巴集团Web安全测试规范》背景简介为了规避安全风险、规范代码的安全开发,以及如何系统的进行安全性测试,目前缺少相应的理论和方法支撑。为此,我们制定《安全测试规范》,本规范可让测试人员针对常见安全漏洞或攻击方式,系统的对被测系统进行快速安全性测试。适用读者本规范的读

离大厂近一点《阿里Web安全测试规范》专家著作

很多人都知道,在学校学的技术,初创公司的技术,外包公司的技术,自研公司的技术跟互联网大厂的技术有天壤之别,几乎所有在互联网这个圈子里的人都有一个“大厂梦”,因为进了大厂意味着更先进的技术,更高的薪资,更优秀的同事跟领导,更好的成长空间。甚至你只要是从大厂出来,以后找工作都要方便很多。今天,我们就离大厂更近一点,共同学习阿里这份《阿里巴巴集团Web安全测试规范》背景简介为了规避安全风险、规范代码的安全开发,以及如何系统的进行安全性测试,目前缺少相应的理论和方法支撑。为此,我们制定《安全测试规范》,本规范可让测试人员针对常见安全漏洞或攻击方式,系统的对被测系统进行快速安全性测试。适用读者本规范的读

软件测试工程师的5年之痒,讲述近两年突破瓶颈经验

突破自己的技术瓶颈并不是一蹴而就,还是需要看清楚一些东西,这里也有一些经验和见解跟大家分享一下。同样是职场人士,我也有我的经历和故事。在工作期间,我有过2年加薪7次的小小“战绩”(同期进入公司的员工,加薪不超过2次的员工大有人在),顺利地从员工做到了测试总监,是公司所有员工中成长最快的,也是幸运的,避开了一些坑,少走了很多弯路。但是我敢肯定,在看到这篇文章的人里面,肯定有人比我更优秀。但是对于那些更渴望得到突破和成长的朋友们来说,我把自己以往的成长经验心得分享出来,希望能帮到大家。同事经常会问我成功有没有捷径,我告诉他,唯一的捷径就是不走弯路。下面的6条如果你做到了,成功对你而言,只是个时间问

软件测试工程师的5年之痒,讲述近两年突破瓶颈经验

突破自己的技术瓶颈并不是一蹴而就,还是需要看清楚一些东西,这里也有一些经验和见解跟大家分享一下。同样是职场人士,我也有我的经历和故事。在工作期间,我有过2年加薪7次的小小“战绩”(同期进入公司的员工,加薪不超过2次的员工大有人在),顺利地从员工做到了测试总监,是公司所有员工中成长最快的,也是幸运的,避开了一些坑,少走了很多弯路。但是我敢肯定,在看到这篇文章的人里面,肯定有人比我更优秀。但是对于那些更渴望得到突破和成长的朋友们来说,我把自己以往的成长经验心得分享出来,希望能帮到大家。同事经常会问我成功有没有捷径,我告诉他,唯一的捷径就是不走弯路。下面的6条如果你做到了,成功对你而言,只是个时间问