导读:随着实时计算的发展,越来越多的业务利用实时计算平台开发实时数据。与离线任务不同,实时任务需要更小的时延和更高的可靠性,如何更好地保障实时数据的质量是每个实时计算平台都需要解决的问题。本次的分享题目为虎牙实时计算SLA实践之路,主要分为以下几个部分:平台介绍核心SLA定义核心能力建设未来展望--01平台介绍1.发展历程虎牙业界领先的实时内容创造与直播互动能力离不开有力的基础支撑,实时计算平台作为一个关键技术,发展历程主要分为四个阶段:混沌期:在2019年之前,业务各自搭建实时计算引擎,导致技术栈的不统一和资源利用率不高。统一期:2019年之后统一使用Flink,提供集中任务和资源的管理。主
导读:随着实时计算的发展,越来越多的业务利用实时计算平台开发实时数据。与离线任务不同,实时任务需要更小的时延和更高的可靠性,如何更好地保障实时数据的质量是每个实时计算平台都需要解决的问题。本次的分享题目为虎牙实时计算SLA实践之路,主要分为以下几个部分:平台介绍核心SLA定义核心能力建设未来展望--01平台介绍1.发展历程虎牙业界领先的实时内容创造与直播互动能力离不开有力的基础支撑,实时计算平台作为一个关键技术,发展历程主要分为四个阶段:混沌期:在2019年之前,业务各自搭建实时计算引擎,导致技术栈的不统一和资源利用率不高。统一期:2019年之后统一使用Flink,提供集中任务和资源的管理。主
我之前在这个博客上写过什么是分布式系统,以及它们如何以不得不处理更复杂的系统设计为代价为我们提供巨大的可扩展性。让我们讨论一下如何使分布式系统对随机故障具有弹性,随着系统变大,这种随机故障会变得越来越普遍。系统理论告诉我们,系统中相互关联的部分越多,发生大故障的可能性就越大。因此,要构建一个弹性系统,我们需要减少连接数量。如果无法做到这一点,我们需要实施“临时”切断与故障部分的连接的方法,以便错误不会级联到其他部分。image.png每个组件都必须假设每个其他组件都会在某个时候发生故障,并决定当这些故障发生时它会做什么。最后,我们需要在系统中建立一些缓冲区——一些放松的方法,如果不消除对它的要
我之前在这个博客上写过什么是分布式系统,以及它们如何以不得不处理更复杂的系统设计为代价为我们提供巨大的可扩展性。让我们讨论一下如何使分布式系统对随机故障具有弹性,随着系统变大,这种随机故障会变得越来越普遍。系统理论告诉我们,系统中相互关联的部分越多,发生大故障的可能性就越大。因此,要构建一个弹性系统,我们需要减少连接数量。如果无法做到这一点,我们需要实施“临时”切断与故障部分的连接的方法,以便错误不会级联到其他部分。image.png每个组件都必须假设每个其他组件都会在某个时候发生故障,并决定当这些故障发生时它会做什么。最后,我们需要在系统中建立一些缓冲区——一些放松的方法,如果不消除对它的要