前言前段时间，很荣幸能参加云栖大会，并分享交流一个议题，接下来我们来回顾一下介绍这次给大家带来的题目是《小米大数据运维管理体系的建设和实践》今天整个分享分两部分，第一部分我们先来聊聊大数据运维数字化转型相关的内容看看运维层面如何做到化繁为简，打造极致效率的；紧接着第二部分，会给大家介绍一下小米大数据的技术架构大家可以从中了解到小米怎样应对海量数据挑战的。服务定位为了帮助大家理解，我们先来简单聊一聊小米服务的架构整个业务架构按照云计算的分层模型来说分为三层，依次是iass层、pass层、sass层小米的iass层是一个混合云的现状，涉及IDC、公有云、网络等资源小米的saas层不仅包含战略业务手
前言前段时间，很荣幸能参加云栖大会，并分享交流一个议题，接下来我们来回顾一下介绍这次给大家带来的题目是《小米大数据运维管理体系的建设和实践》今天整个分享分两部分，第一部分我们先来聊聊大数据运维数字化转型相关的内容看看运维层面如何做到化繁为简，打造极致效率的；紧接着第二部分，会给大家介绍一下小米大数据的技术架构大家可以从中了解到小米怎样应对海量数据挑战的。服务定位为了帮助大家理解，我们先来简单聊一聊小米服务的架构整个业务架构按照云计算的分层模型来说分为三层，依次是iass层、pass层、sass层小米的iass层是一个混合云的现状，涉及IDC、公有云、网络等资源小米的saas层不仅包含战略业务手
一、背景几乎每家手机厂商都为用户提供了信息存储的云服务能力。通过一个账号，用户可以将手机系统中的各种常用的信息备份到云端，以便后续在合适的时间点查看或恢复自身的数据。然而由于用户量级巨大，服务在设计系统的时候需要考虑的因素特别多，比如如何保证服务的稳定性，如何保证大文件的传输效率，以及如何保证用户文件的数据持久性等等。除此之外，随着越来越多的终端用户开始使用vivo云服务，存储和计算的成本也与日俱增。可能有部分人了解，某些手机厂商的云服务产品年度亏损数亿级别，而主要成本之处来自用户私人文件的存储成本。另外，在安全方面，云服务在这块需要承担的使命更是重中之重。某些厂商的云服务曾经出现过用户数据泄
一、背景几乎每家手机厂商都为用户提供了信息存储的云服务能力。通过一个账号，用户可以将手机系统中的各种常用的信息备份到云端，以便后续在合适的时间点查看或恢复自身的数据。然而由于用户量级巨大，服务在设计系统的时候需要考虑的因素特别多，比如如何保证服务的稳定性，如何保证大文件的传输效率，以及如何保证用户文件的数据持久性等等。除此之外，随着越来越多的终端用户开始使用vivo云服务，存储和计算的成本也与日俱增。可能有部分人了解，某些手机厂商的云服务产品年度亏损数亿级别，而主要成本之处来自用户私人文件的存储成本。另外，在安全方面，云服务在这块需要承担的使命更是重中之重。某些厂商的云服务曾经出现过用户数据泄
一、引言Redis作为一款简洁、高效的键值型内存数据库，2015年在G行引入，应用于多个业务系统，为高频次、大并发交易提供了有效的热点数据访问加速方案。随着部署数量的加大，面临着资源快速供给、规范化部署、软件版本统一、集中运维管理等诸多挑战。为此，G行启动了分布式缓存平台建设项目，旨在打造一个具备快速部署、集中管理、弹性伸缩、服务高可用的缓存服务化平台。二、建设目标01快速部署基于G行全栈云IaaS层敏捷特性，通过对计算、存储、网络等资源的统一调度编排，实现缓存服务的快速部署和弹性伸缩，推出分布式缓存PaaS服务，助力应用系统敏捷开发。02服务化输出通过统一控制台，实现Redis服务跨云
一、引言Redis作为一款简洁、高效的键值型内存数据库，2015年在G行引入，应用于多个业务系统，为高频次、大并发交易提供了有效的热点数据访问加速方案。随着部署数量的加大，面临着资源快速供给、规范化部署、软件版本统一、集中运维管理等诸多挑战。为此，G行启动了分布式缓存平台建设项目，旨在打造一个具备快速部署、集中管理、弹性伸缩、服务高可用的缓存服务化平台。二、建设目标01快速部署基于G行全栈云IaaS层敏捷特性，通过对计算、存储、网络等资源的统一调度编排，实现缓存服务的快速部署和弹性伸缩，推出分布式缓存PaaS服务，助力应用系统敏捷开发。02服务化输出通过统一控制台，实现Redis服务跨云
背景 技术管理者(技术总监/经理/CTO)都会面临公司战略执行，公司业绩的压力，以及业务对技术团队支撑能力的期望和诉求。如何打造一支快速响应，高效能，能打硬仗的技术团队？是技术管理者的挑战和必须完成的任务。 痛点 1）技术选型混乱，大量基础技术组件代码重复构建，使用方式不一样；一些坑大家都需要重复踩一遍，关键是踩完了还不能复用经验可能还会在其他项目重复发生。 2）项目最终被业务追着跑，产品设计没有路线图,整体业务架构没有规划，最终演变成大量业务基础服务重复建设，业务边界不清晰，业务服务职责不清晰。 3）线上事故不断，同一个问题可能重复发生或者一个事故发生后只有用户人为反馈后才能感知。解
背景 技术管理者(技术总监/经理/CTO)都会面临公司战略执行，公司业绩的压力，以及业务对技术团队支撑能力的期望和诉求。如何打造一支快速响应，高效能，能打硬仗的技术团队？是技术管理者的挑战和必须完成的任务。 痛点 1）技术选型混乱，大量基础技术组件代码重复构建，使用方式不一样；一些坑大家都需要重复踩一遍，关键是踩完了还不能复用经验可能还会在其他项目重复发生。 2）项目最终被业务追着跑，产品设计没有路线图,整体业务架构没有规划，最终演变成大量业务基础服务重复建设，业务边界不清晰，业务服务职责不清晰。 3）线上事故不断，同一个问题可能重复发生或者一个事故发生后只有用户人为反馈后才能感知。解
vivo互联网产品团队-Wangxiao随着广告和内容等推荐场景的扩展，算法模型也在不断演进迭代中。业务的不断增长，模型的训练、产出迫切需要进行平台化管理。vivo互联网机器学习平台主要业务场景包括游戏分发、商店、商城、内容分发等。本文将从业务场景、平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路。一、写在前面随着互联网领域的快速发展，数据体量的成倍增长以及算力的持续提升，行业内都在大力研发AI技术，实现业务赋能。算法业务往往专注于模型和调参，而工程领域是相对薄弱的一个环节。建设一个强大的分布式平台，整合各个资源池，提供统一的机器学习框架，将能大大加快训练速度，
vivo互联网产品团队-Wangxiao随着广告和内容等推荐场景的扩展，算法模型也在不断演进迭代中。业务的不断增长，模型的训练、产出迫切需要进行平台化管理。vivo互联网机器学习平台主要业务场景包括游戏分发、商店、商城、内容分发等。本文将从业务场景、平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路。一、写在前面随着互联网领域的快速发展，数据体量的成倍增长以及算力的持续提升，行业内都在大力研发AI技术，实现业务赋能。算法业务往往专注于模型和调参，而工程领域是相对薄弱的一个环节。建设一个强大的分布式平台，整合各个资源池，提供统一的机器学习框架，将能大大加快训练速度，
