前言 MySQL具有开源免费,运维简单,性能好等优点,是在汽车之家使用最多的一种数据库。数据库作为应用的后端存储,承担着数据持久化存储的功能,是应用可以正常对外提供服务的关键组件,数据库的高可用非常重要。 相对于成熟的商业数据库软件,开源的MySQL高可用需要使用者自己进行设计和研发,本文介绍汽车之家MySQL高可用架构发展历程,建设实践情况。 一、高可用定义及度量 在介绍MySQL高可用前,先介绍下高可用定义及关键度量指标RPO,RTO。 高可用定义:高可用(HighAvailability,缩写HA)是一个IT术语,指系统无中断执行其功能的能力,代表系统的可用性程度。 高可用度量指标: R
导读:今天和大家分享京东零售OLAP平台的建设和场景的实践,主要包括四大部分:管控面建设优化技巧典型业务大促备战--01管控面建设1.管控面介绍管控面可以提供高可靠高效可持续运维保障、快速部署小时交付的能力,尤其是针对ClickHouse这种运维较弱但是性能很高的OLAP核心引擎,管控面就显示得尤其重要。2.架构设计管控面的整体架构设计如上图所示,从开始请求、域名解析和分流规则,到达后端服务adminServer,adminServer有一层校验层,校验完成后会向队列中发送任务,worker会不断地消费队列中的任务,消费完成后会将任务的结果写到后端的存储。如果有大量的集群的部署、配额的更改,就
导读:今天和大家分享京东零售OLAP平台的建设和场景的实践,主要包括四大部分:管控面建设优化技巧典型业务大促备战--01管控面建设1.管控面介绍管控面可以提供高可靠高效可持续运维保障、快速部署小时交付的能力,尤其是针对ClickHouse这种运维较弱但是性能很高的OLAP核心引擎,管控面就显示得尤其重要。2.架构设计管控面的整体架构设计如上图所示,从开始请求、域名解析和分流规则,到达后端服务adminServer,adminServer有一层校验层,校验完成后会向队列中发送任务,worker会不断地消费队列中的任务,消费完成后会将任务的结果写到后端的存储。如果有大量的集群的部署、配额的更改,就
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。书籍推荐《数据仓库工具箱(第3版)——维度建模权威指南》本书会介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。这本书是数据维度建模的鼻祖,从这个意义上讲,就挺有了解的意义,当然里面的内容偏理论化,举的例子也比较理想化,不过对于我们对数仓有一个全面的里面,有很大的
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。书籍推荐《数据仓库工具箱(第3版)——维度建模权威指南》本书会介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。这本书是数据维度建模的鼻祖,从这个意义上讲,就挺有了解的意义,当然里面的内容偏理论化,举的例子也比较理想化,不过对于我们对数仓有一个全面的里面,有很大的
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:数据仓库(11)什么是大数据治理,数据治理的范围是哪些。那接下来就继续说说数据治理的一些思路心得。接到数据治理的任务?要怎么做?梳理目前数据集群,以及业务的总体情况这个,其实没有什么好说,做事情之前,肯定是要先了解,我
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:数据仓库(11)什么是大数据治理,数据治理的范围是哪些。那接下来就继续说说数据治理的一些思路心得。接到数据治理的任务?要怎么做?梳理目前数据集群,以及业务的总体情况这个,其实没有什么好说,做事情之前,肯定是要先了解,我
会员开放服务(MembershipKit)是华为面向开发者提供的券码开放能力,开发者可以通过MembershipKit开展灵活多样的营销活动,助力开发者建设会员生态,实现用户运营与增量创收的目标。MembershipKit本次提供得的券码开放能力,在创建卡券方面为开发者提供高效、便捷、灵活的可视化配置;在卡券申请与分发方面,MembershipKit提供卡券申请与状态跟踪功能,帮助开发者实时了解卡券状态;卡券通过华为“会员中心”应用实现分发,通过华为会员平台拓展开发者的营销渠道;在卡券更新与补仓方面,MembershipKit为开发者提供卡券状态编辑能力以及领取状态和预警提醒能力,便于开发者及
会员开放服务(MembershipKit)是华为面向开发者提供的券码开放能力,开发者可以通过MembershipKit开展灵活多样的营销活动,助力开发者建设会员生态,实现用户运营与增量创收的目标。MembershipKit本次提供得的券码开放能力,在创建卡券方面为开发者提供高效、便捷、灵活的可视化配置;在卡券申请与分发方面,MembershipKit提供卡券申请与状态跟踪功能,帮助开发者实时了解卡券状态;卡券通过华为“会员中心”应用实现分发,通过华为会员平台拓展开发者的营销渠道;在卡券更新与补仓方面,MembershipKit为开发者提供卡券状态编辑能力以及领取状态和预警提醒能力,便于开发者及
软件开发中常见的几种不同服务模型包括SaaS(软件即服务)、LaaS(许可即服务)、PaaS(平台即服务)、CaaS(容器即服务)、IaaS(基础设施即服务)和FaaS(功能即服务)。很多人认为IaaS和FaaS是趋势,是未来软件设计与开发人员的基本必备技能,PowerDotNet和PowerDotNetCore也特别注重这方面的设计开发和积累,目前已经做出了一些尝试、实践和探索。PowerDotNet和PowerDotNetCore实现的公共服务按照主要功能模块进行划分,可以分为基础设施、框架工具以及业务(微)服务三大类,客户端和前端也小有所成,工作量较为饱和。根据个人经验,框架类库和各种流