作者:vivo互联网存储技术团队-LuoMingbo、中间件团队-LiuRunyun本文根据“2022vivo开发者大会"现场演讲内容整理而成。本文主要介绍超大数据规模场景下分布式消息中间件在vivo的应用实践。在线业务侧主要从RocketMQ集群部署架构、平台系统架构、日常运维操作平台、监控告警一体化实践以及vivo如何通过建设AMQP消息网关的方式完成所有在线业务服务从RabbitMQ到RocketMQ的业务无感迁移,实现了在线业务消息中间件组件的统一。大数据侧主要从资源隔离、流量均衡、智能动态限流、集群治理四个维度介绍Kafka在vivo的最佳实践以及Kafka核心技术架构在超大数据规模
什么是EVPN?EVPN(EthernetVirtualPrivateNetwork)是下一代全业务承载的VPN解决方案。EVPN统一了各种VPN业务的控制面,利用BGP扩展协议来传递二层或三层的可达性信息,实现了转发面和控制面的分离。EVPN还将IPVPN流量均衡和部署灵活的优势引入到了以太网中。种种优势使其广泛应用于大型数据中心二层网络互连场景。EVPN产生原因EVPN是为了解决传统L2VPN的不足而诞生的。传统L2VPN,以VPLS技术为例,存在的问题如下:无法实现负载分担:VPLS不支持在多归网络中流量传输的负载分担;网络资源的消耗较高:一方面,如果大量的站点需要互联时,PE设备很多会
什么是EVPN?EVPN(EthernetVirtualPrivateNetwork)是下一代全业务承载的VPN解决方案。EVPN统一了各种VPN业务的控制面,利用BGP扩展协议来传递二层或三层的可达性信息,实现了转发面和控制面的分离。EVPN还将IPVPN流量均衡和部署灵活的优势引入到了以太网中。种种优势使其广泛应用于大型数据中心二层网络互连场景。EVPN产生原因EVPN是为了解决传统L2VPN的不足而诞生的。传统L2VPN,以VPLS技术为例,存在的问题如下:无法实现负载分担:VPLS不支持在多归网络中流量传输的负载分担;网络资源的消耗较高:一方面,如果大量的站点需要互联时,PE设备很多会
摘要: “一分钟,我要这个人的全部信息”,霸道总裁拍了拍你,并提出这个要求。本文分享自华为云社区《大规模数据如何实现数据的高效追溯》,作者:DevAI。“一分钟,我要这个人的全部信息”,霸道总裁拍了拍你,并提出这个要求。秘书开始发力,找到了:姓名、年龄、联系方式、爱好,这些信息。不太够?那就再加上亲朋好友信息,近期活动信息,更完整展现这个人。虽然是个段子,但也给与我们一些启示:对象本身的信息可能不够“全”,周边关联的数据也是对象信息的重要组成,这些关联数据对在进行数据分析和挖掘时十分有用。现实生活中关联关系十分普遍,比如人的社交、商品生产和消费行为之间都是关联关系。数据分析时,为了更好的利用关
摘要: “一分钟,我要这个人的全部信息”,霸道总裁拍了拍你,并提出这个要求。本文分享自华为云社区《大规模数据如何实现数据的高效追溯》,作者:DevAI。“一分钟,我要这个人的全部信息”,霸道总裁拍了拍你,并提出这个要求。秘书开始发力,找到了:姓名、年龄、联系方式、爱好,这些信息。不太够?那就再加上亲朋好友信息,近期活动信息,更完整展现这个人。虽然是个段子,但也给与我们一些启示:对象本身的信息可能不够“全”,周边关联的数据也是对象信息的重要组成,这些关联数据对在进行数据分析和挖掘时十分有用。现实生活中关联关系十分普遍,比如人的社交、商品生产和消费行为之间都是关联关系。数据分析时,为了更好的利用关
作者:肖念康,东莞怡合达智能制造供应链资深Java开发工程师,主要负责公司内部DevOps、代码托管平台、任务需求管理平台的研发及其他项目的管理,云原生的研究与开发工作。公司简介怡合达致力于自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应,怡合达深耕自动化设备行业,基于应用场景对自动化设备零部件进行标准化设计和分类选型,通过标准设定、产品开发、供应链管理、平台化运营,以信息和数字化为驱动,为自动化设备行业提供高品质、低成本、短交期的自动化零部件产品。技术现状在使用Kubernetes之前,公司一直是采用超融合传统虚拟机的方式来部署上线项目,这就导致公司资源浪费非常严重,每年单单
作者:肖念康,东莞怡合达智能制造供应链资深Java开发工程师,主要负责公司内部DevOps、代码托管平台、任务需求管理平台的研发及其他项目的管理,云原生的研究与开发工作。公司简介怡合达致力于自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应,怡合达深耕自动化设备行业,基于应用场景对自动化设备零部件进行标准化设计和分类选型,通过标准设定、产品开发、供应链管理、平台化运营,以信息和数字化为驱动,为自动化设备行业提供高品质、低成本、短交期的自动化零部件产品。技术现状在使用Kubernetes之前,公司一直是采用超融合传统虚拟机的方式来部署上线项目,这就导致公司资源浪费非常严重,每年单单
前文回顾大规模IoT边缘容器集群管理的几种架构-0-边缘容器及架构简介大规模IoT边缘容器集群管理的几种架构-1-Rancher+K3s大规模IoT边缘容器集群管理的几种架构-2-HashiCorp解决方案Nomad大规模IoT边缘容器集群管理的几种架构-3-Portainer?️Reference:IoT边缘计算系列文章Portainer+Docker简介Portainer:强大的容器管理软件,在任何数据中心、云、网络边缘或IOT设备上,在几分钟内对Kubernetes、Docker、Swarm和Nomad的容器进行部署、配置、故障排除和保护。通过快速部署应用和集中容器管理来节省时间通过快速
前文回顾大规模IoT边缘容器集群管理的几种架构-0-边缘容器及架构简介大规模IoT边缘容器集群管理的几种架构-1-Rancher+K3s大规模IoT边缘容器集群管理的几种架构-2-HashiCorp解决方案Nomad大规模IoT边缘容器集群管理的几种架构-3-Portainer?️Reference:IoT边缘计算系列文章Portainer+Docker简介Portainer:强大的容器管理软件,在任何数据中心、云、网络边缘或IOT设备上,在几分钟内对Kubernetes、Docker、Swarm和Nomad的容器进行部署、配置、故障排除和保护。通过快速部署应用和集中容器管理来节省时间通过快速
前文回顾大规模IoT边缘容器集群管理的几种架构-0-边缘容器及架构简介?️Reference:IoT边缘计算系列文章Rancher+K3s简介Rancher:Kubernetes统一管理平台,Rancher是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个Kubernetes集群的操作和安全挑战,同时为DevOps团队提供了运行容器化工作负载的集成工具。K3s:完美适配边缘,K3s是一个高可用的、经过认证的Kubernetes发行版,设计用于无人值守、资源受限的远程地点或物联网设备内的生产工作负载。K3s被打包成一个60MB的二进制文件,减少了安装、运行和自动更新一个生产型Kubern