作者：vivo互联网实时计算团队-ChenTao本文根据“2022vivo开发者大会"现场演讲内容整理而成。vivo实时计算平台是vivo实时团队基于ApacheFlink计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。一、vivo实时计算业务现状2022年，vivo互联网在网用户总数达到2.8亿，多款互联网应用的日活超过了千万甚至突破了1亿，为了向用户提供优质的内容和服务，我们需要对如此大规模的用户所产生的海量数据进行实时处理，帮助我们进行运营决策、精准推荐、提升终端用户体验，同时通过提升我们的商业化能力为广告主提供更加优质的广告服务。 近几年，大数
作者：vivo互联网实时计算团队-ChenTao本文根据“2022vivo开发者大会"现场演讲内容整理而成。vivo实时计算平台是vivo实时团队基于ApacheFlink计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。一、vivo实时计算业务现状2022年，vivo互联网在网用户总数达到2.8亿，多款互联网应用的日活超过了千万甚至突破了1亿，为了向用户提供优质的内容和服务，我们需要对如此大规模的用户所产生的海量数据进行实时处理，帮助我们进行运营决策、精准推荐、提升终端用户体验，同时通过提升我们的商业化能力为广告主提供更加优质的广告服务。 近几年，大数
经过几年的平台建设，vivo监控平台产品矩阵日趋完善，在vivo终端庞大的用户群体下，承载业务运行的服务数量众多，监控服务体系是业务可用性保障的重要一环，监控产品全场景覆盖生产环境各个环节。从事前发现，事中告警、定位、恢复，事后复盘总结，监控服务平台都提供了丰富的工具包。从以前的水平拆分，按场景建设，到后来的垂直划分，整合统一，降低平台割裂感。同时从可观测性、AIOps、云原生等方向，监控平台也进行了建设实践。未来vivo监控平台将会向着全场景、一站式、全链路、智能化方向不断探索前行。 监控服务平台是自研的、覆盖全场景的可用性保障系统。经过多年深耕，vivo监控团队已经成体系构筑起一整套稳定性
经过几年的平台建设，vivo监控平台产品矩阵日趋完善，在vivo终端庞大的用户群体下，承载业务运行的服务数量众多，监控服务体系是业务可用性保障的重要一环，监控产品全场景覆盖生产环境各个环节。从事前发现，事中告警、定位、恢复，事后复盘总结，监控服务平台都提供了丰富的工具包。从以前的水平拆分，按场景建设，到后来的垂直划分，整合统一，降低平台割裂感。同时从可观测性、AIOps、云原生等方向，监控平台也进行了建设实践。未来vivo监控平台将会向着全场景、一站式、全链路、智能化方向不断探索前行。 监控服务平台是自研的、覆盖全场景的可用性保障系统。经过多年深耕，vivo监控团队已经成体系构筑起一整套稳定性
vivo互联网平台产品研发团队-PengZhong随着分发规模地逐步增长，各企业对CDN带宽的使用越来越多。并且，各类业务使用CDN的场景各式各样，导致带宽会不断地出现骤增骤降等问题。基于成本考虑，国内CDN厂商的计费模式主要用峰值点的带宽来计费，就算不用峰值点的带宽，也会因为峰值问题所产生的成本而抬高带宽单价。基于此，控制CDN带宽的峰谷具有重要意义，降低峰值就意味着成本节省。一、背景伴随着互联网地兴起，很多企业都经历过互联网野蛮生长的一段岁月。然而，在互联网市场逐步成熟稳定之后，各大企业在业务上的增长速度逐渐放缓，也纷纷开始“对内挖掘成本方面”的产出，对成本做更加精细化的管控，提升企业的竞
vivo互联网平台产品研发团队-PengZhong随着分发规模地逐步增长，各企业对CDN带宽的使用越来越多。并且，各类业务使用CDN的场景各式各样，导致带宽会不断地出现骤增骤降等问题。基于成本考虑，国内CDN厂商的计费模式主要用峰值点的带宽来计费，就算不用峰值点的带宽，也会因为峰值问题所产生的成本而抬高带宽单价。基于此，控制CDN带宽的峰谷具有重要意义，降低峰值就意味着成本节省。一、背景伴随着互联网地兴起，很多企业都经历过互联网野蛮生长的一段岁月。然而，在互联网市场逐步成熟稳定之后，各大企业在业务上的增长速度逐渐放缓，也纷纷开始“对内挖掘成本方面”的产出，对成本做更加精细化的管控，提升企业的竞
一、背景介绍1.1程序员的困扰作为一名IT从业人员，比如开发和运维，多少有过类似的经历：睡觉的时候被电话叫醒，过节的时候在值班，游玩的时候被通知处理故障。作为一名程序员，我们时时刻刻都在想着运用信息技术，为别人解决问题，提升效率，节省成本。随着微服务架构的快速发展，带来一系列复杂的调用链路和海量的数据。对于我们来说，排查问题是一个大挑战，寻找故障原因犹如大海捞针，需要花费大量的时间和精力。1.2现状分析vivo已经建立了一套完整的端到端监控体系，涵盖了基础监控、通用监控、调用链、日志监控、拨测监控等。这些系统每天都会产生海量的数据，如何利用好这些数据，挖掘数据背后的潜在价值，让数据更好的服务于
一、背景介绍1.1程序员的困扰作为一名IT从业人员，比如开发和运维，多少有过类似的经历：睡觉的时候被电话叫醒，过节的时候在值班，游玩的时候被通知处理故障。作为一名程序员，我们时时刻刻都在想着运用信息技术，为别人解决问题，提升效率，节省成本。随着微服务架构的快速发展，带来一系列复杂的调用链路和海量的数据。对于我们来说，排查问题是一个大挑战，寻找故障原因犹如大海捞针，需要花费大量的时间和精力。1.2现状分析vivo已经建立了一套完整的端到端监控体系，涵盖了基础监控、通用监控、调用链、日志监控、拨测监控等。这些系统每天都会产生海量的数据，如何利用好这些数据，挖掘数据背后的潜在价值，让数据更好的服务于
一、前言现在的企业很多都在用Jenkins做持续集成，各个业务端都依靠Jenkins，vivoDevops也是使用Jenkins来进行持续构建，部署Jenkins服务时如何保障服务的高可用变得尤为重要。下面是目前Jenkins存在的一些问题。Jenkins本身是单体的，即只能有一个JenkinsMaster。虽然你也可以在多台机器上部署多个JenkinsMaster，但这些Master之间没有联系，都是各自把任务交给手下的slaver去执行，没有任何交集。也许某个master下的slaver很忙，而另一个master下的slaver却很闲，资源得不到充分利用。 当其中一个slave宕机之后，该
一、前言现在的企业很多都在用Jenkins做持续集成，各个业务端都依靠Jenkins，vivoDevops也是使用Jenkins来进行持续构建，部署Jenkins服务时如何保障服务的高可用变得尤为重要。下面是目前Jenkins存在的一些问题。Jenkins本身是单体的，即只能有一个JenkinsMaster。虽然你也可以在多台机器上部署多个JenkinsMaster，但这些Master之间没有联系，都是各自把任务交给手下的slaver去执行，没有任何交集。也许某个master下的slaver很忙，而另一个master下的slaver却很闲，资源得不到充分利用。 当其中一个slave宕机之后，该
