草庐IT

数仓建设

全部标签

vivo 手机云服务建设之路-平台产品系列04

一、背景几乎每家手机厂商都为用户提供了信息存储的云服务能力。通过一个账号,用户可以将手机系统中的各种常用的信息备份到云端,以便后续在合适的时间点查看或恢复自身的数据。然而由于用户量级巨大,服务在设计系统的时候需要考虑的因素特别多,比如如何保证服务的稳定性,如何保证大文件的传输效率,以及如何保证用户文件的数据持久性等等。除此之外,随着越来越多的终端用户开始使用vivo云服务,存储和计算的成本也与日俱增。可能有部分人了解,某些手机厂商的云服务产品年度亏损数亿级别,而主要成本之处来自用户私人文件的存储成本。另外,在安全方面,云服务在这块需要承担的使命更是重中之重。某些厂商的云服务曾经出现过用户数据泄

分布式缓存平台建设实践

​一、引言Redis作为一款简洁、高效的键值型内存数据库,2015年在G行引入,应用于多个业务系统,为高频次、大并发交易提供了有效的热点数据访问加速方案。随着部署数量的加大,面临着资源快速供给、规范化部署、软件版本统一、集中运维管理等诸多挑战。为此,G行启动了分布式缓存平台建设项目,旨在打造一个具备快速部署、集中管理、弹性伸缩、服务高可用的缓存服务化平台。二、建设目标01快速部署​基于G行全栈云IaaS层敏捷特性,通过对计算、存储、网络等资源的统一调度编排,实现缓存服务的快速部署和弹性伸缩,推出分布式缓存PaaS服务,助力应用系统敏捷开发。02服务化输出​通过统一控制台,实现Redis服务跨云

分布式缓存平台建设实践

​一、引言Redis作为一款简洁、高效的键值型内存数据库,2015年在G行引入,应用于多个业务系统,为高频次、大并发交易提供了有效的热点数据访问加速方案。随着部署数量的加大,面临着资源快速供给、规范化部署、软件版本统一、集中运维管理等诸多挑战。为此,G行启动了分布式缓存平台建设项目,旨在打造一个具备快速部署、集中管理、弹性伸缩、服务高可用的缓存服务化平台。二、建设目标01快速部署​基于G行全栈云IaaS层敏捷特性,通过对计算、存储、网络等资源的统一调度编排,实现缓存服务的快速部署和弹性伸缩,推出分布式缓存PaaS服务,助力应用系统敏捷开发。02服务化输出​通过统一控制台,实现Redis服务跨云

TD退出,国产数仓的风来了

近期,就在2月15日,国内IT界有搞出个大瓜,Teradata以对中国当前及未来商业环境的不确定性,慎重考虑后决定退出中国运营,后续将进入中国公司关闭程序。Teradata是一家有着40多年历史的数据仓库企业,被业界专业人事称为“数仓人才的黄埔军校”, 在大数据领域一直保持全球领先的地位。它在1997年正式进入中国,并率先在金融、电信领域推出自己的数仓产品,由于当时国内软硬件基础不太好,信息化行业又面临着迅速数据膨胀等因素,使Tearadata很快在中国铺开市场,直到近期的退出,在国内还保留着众多的使用单位及市场。下面谈谈对这一事件的看法及国产数据仓库产品的机会。1、Teradata退出,个中

TD退出,国产数仓的风来了

近期,就在2月15日,国内IT界有搞出个大瓜,Teradata以对中国当前及未来商业环境的不确定性,慎重考虑后决定退出中国运营,后续将进入中国公司关闭程序。Teradata是一家有着40多年历史的数据仓库企业,被业界专业人事称为“数仓人才的黄埔军校”, 在大数据领域一直保持全球领先的地位。它在1997年正式进入中国,并率先在金融、电信领域推出自己的数仓产品,由于当时国内软硬件基础不太好,信息化行业又面临着迅速数据膨胀等因素,使Tearadata很快在中国铺开市场,直到近期的退出,在国内还保留着众多的使用单位及市场。下面谈谈对这一事件的看法及国产数据仓库产品的机会。1、Teradata退出,个中

百人研发架构体系建设-高效能研发体系构建概论【原创】

背景  技术管理者(技术总监/经理/CTO)都会面临公司战略执行,公司业绩的压力,以及业务对技术团队支撑能力的期望和诉求。如何打造一支快速响应,高效能,能打硬仗的技术团队?是技术管理者的挑战和必须完成的任务。 痛点  1)技术选型混乱,大量基础技术组件代码重复构建,使用方式不一样;一些坑大家都需要重复踩一遍,关键是踩完了还不能复用经验可能还会在其他项目重复发生。  2)项目最终被业务追着跑,产品设计没有路线图,整体业务架构没有规划,最终演变成大量业务基础服务重复建设,业务边界不清晰,业务服务职责不清晰。  3)线上事故不断,同一个问题可能重复发生或者一个事故发生后只有用户人为反馈后才能感知。解

百人研发架构体系建设-高效能研发体系构建概论【原创】

背景  技术管理者(技术总监/经理/CTO)都会面临公司战略执行,公司业绩的压力,以及业务对技术团队支撑能力的期望和诉求。如何打造一支快速响应,高效能,能打硬仗的技术团队?是技术管理者的挑战和必须完成的任务。 痛点  1)技术选型混乱,大量基础技术组件代码重复构建,使用方式不一样;一些坑大家都需要重复踩一遍,关键是踩完了还不能复用经验可能还会在其他项目重复发生。  2)项目最终被业务追着跑,产品设计没有路线图,整体业务架构没有规划,最终演变成大量业务基础服务重复建设,业务边界不清晰,业务服务职责不清晰。  3)线上事故不断,同一个问题可能重复发生或者一个事故发生后只有用户人为反馈后才能感知。解

vivo互联网机器学习平台的建设与实践

vivo互联网产品团队-Wangxiao随着广告和内容等推荐场景的扩展,算法模型也在不断演进迭代中。业务的不断增长,模型的训练、产出迫切需要进行平台化管理。vivo互联网机器学习平台主要业务场景包括游戏分发、商店、商城、内容分发等。本文将从业务场景、平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路。一、写在前面随着互联网领域的快速发展,数据体量的成倍增长以及算力的持续提升,行业内都在大力研发AI技术,实现业务赋能。算法业务往往专注于模型和调参,而工程领域是相对薄弱的一个环节。建设一个强大的分布式平台,整合各个资源池,提供统一的机器学习框架,将能大大加快训练速度,

vivo互联网机器学习平台的建设与实践

vivo互联网产品团队-Wangxiao随着广告和内容等推荐场景的扩展,算法模型也在不断演进迭代中。业务的不断增长,模型的训练、产出迫切需要进行平台化管理。vivo互联网机器学习平台主要业务场景包括游戏分发、商店、商城、内容分发等。本文将从业务场景、平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路。一、写在前面随着互联网领域的快速发展,数据体量的成倍增长以及算力的持续提升,行业内都在大力研发AI技术,实现业务赋能。算法业务往往专注于模型和调参,而工程领域是相对薄弱的一个环节。建设一个强大的分布式平台,整合各个资源池,提供统一的机器学习框架,将能大大加快训练速度,

东吴证券张之浩:从理论到落地的 DevOps 体系建设

近日,第四届中国金融科技产业峰会、第三届中新(苏州)金融科技应用博览会在苏州国际博览中心开幕。大会同期举办的博云“云原生应用与实践”分论坛汇集金融行业头部机构与云原生技术领域专家,共同深刻探讨市场发展格局。东吴证券信息技术总部副总经理张之浩进行了“东吴证券DevOps规划与实践分享”主题演讲,以下是演讲实录。 演讲实录尊敬的各位嘉宾、专家,大家下午好!今天为大家介绍一下东吴证券在DevOps体系当中的探索和实践,我是东吴证券信息技术总部的张之浩,负责整个研发条线的管理。 我进入东吴证券做研发有10多年的时间,见证了东吴证券从0到1建设的整个研发体系。在这个过程当中,我们走过很多弯路,也发现了很