草庐IT

数仓架构

全部标签

携程火车票出海架构演进之路

作者简介py.an,携程后端研发经理,关注性能优化、技术架构等领域venson,携程后端高级研发经理,关注性能优化、技术架构等领域一、引言在全球化战略的背景下,Trip.com作为一个面向国际市场的全球OTA平台,正努力推进国际化战略部署。Trip.com火车票正在积极投入资源和技术力量来拓展海外业务,通过将应用、数据部署新加坡、法兰克福等中心,从而给全球用户带来更好的购票体验和减少数据合规带来的风险。二、业务背景目前Trip.com火车票全球铁路业务主要集中在英国、亚洲和欧洲各国,其中欧洲作为世界上经济、交通非常发达的大洲,也成为更加关注的一站,未来还有更多更大的舞台。随着全球疫情危机消退,

[3]云计算概念、技术与架构Thomas Erl-第7章 云基础设施机制

0.前言技术机制是指在IT行业内确立的具有明确定义的IT构件,它通常区别于具体的计算模型或平台。云计算具有以技术为中心的特点,这就需要建立一套正式机制作为探索云技术架构的基础。云基础设施机制是云环境的基础构建块,它是形成基本云技术架构基础的主要构件。本文涉及的云基础设施机制如下:逻辑网络边界虚拟服务器云存储设备云使用监控资源复制已就绪环境目录0.前言第7章云基础设施机制7.1逻辑网络边界7.2虚拟服务器7.3云存储设备7.3.1云存储等级7.3.2网络存储接口7.3.3对象存储接口7.3.4数据库存储接口7.4云使用监控7.4.1监控代理7.4.2资源代理7.4.3轮询代理7.5资源复制 7.

Kafka架构原理(超级详细)

N.1Kafka是什么1)Kafka是开源消息系统2)最初由LinkedIn公司开发,2011年开源,2012年10月从Apache毕业。项目目标是:为处理实时数据,提供一个统一、高通量、低等待的平台。3)Kafka是一个分布式消息队列。Kafka对消息根据Topic进行归类。发送消息Producer,接收消息Consumerkafka集群中有多个kafka实例,每个实例都是一个broker。4)无论是kafka集群,还是producerconsumer都依赖于zookeeper保存元信息,来保证系统的可用性。N.2消息队列内部实现原理1)点对点:点对点模型通常是一个基于拉取或者轮询的消息传送

注意避坑:centos7官方版镜像不支持arm架构(docker请求的映像的平台(linux/aamd64)与检测到的主机平台(linux/alm64/v8)不匹配)fauria/vsftpd

注意是centos7docker官方版镜像不支持arm架构(FROMcentos:7),不是centos7不支持arm文章目录问题背景解释centos7官方版不支持arm架构(除开某些非官方衍生版本)ubuntu官方版支持arm架构疑问为什么centos官方版不支持arm架构?问题背景今天基于fauria/vsftpd在我们的arm盒子上做了个docker镜像,但是用镜像run容器的时候提示:WARNING:Therequestedimage'splatform(linux/amd64)doesnotmatchthedetectedhostplatform(linux/arm64/v8)and

ARM架构下安装Mysql8.0数据库

本次安装使用Mysql 8.0版本,因为5.7版本在mysql官网没有适配,需要自己手动编译安装一、下载镜像官网地址:MySQL::DownloadMySQLCommunityServer(ArchivedVersions)根据官方文档,Kylin Linux Advanced Server release V10 (Tercel) 是基于开源社区的CentOS 7进行开发的,因此它对应的是Linux 7版本。Kylin在CentOS 7的基础上,进行了一些定制化的开发,以适应中国国内的一些特殊需求。二、卸载系统自带的MySQL和MariaDBrpm-qa|grepmysqlrpm-qa|gr

多主架构:VLDB技术论文《Taurus MM: bringing multi-master to the cloud》解读

本文分享自华为云社区《多主创新,让云数据库性能更卓越》,作者:GaussDB数据库。华为《TaurusMM:bringingmulti-mastertothecloud》论文被国际数据库顶会VLDB2023录用,这篇论文里讲述了符合云原生数据库特点的超燃技术。介绍了如何通过各种黑科技减少云原生数据库的网络消耗,进而提升云原生数据库的性能和稳定性。下面就让我们抽丝剥茧,细细品味技术的魅力,揭开华为云数据库多主技术的面纱。说明:技术论文中的Taurus在华为云商用的产品名是GaussDB(forMySQL),是GaussDB(forMySQL)的云原生架构技术版本。引言现下,大型高性能数据库通常采

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:数据仓库(11)什么是大数据治理,数据治理的范围是哪些。那接下来就继续说说数据治理的一些思路心得。接到数据治理的任务?要怎么做?梳理目前数据集群,以及业务的总体情况这个,其实没有什么好说,做事情之前,肯定是要先了解,我

如何实现分布式架构与云原生

分布式架构和云原生都是当前技术领域中的热点话题,两者可以结合起来实现更高效的应用程序部署和运行。实现分布式架构:1、服务拆分:将一个大型的应用程序拆分成多个小的服务,每个服务都可以独立部署和运行。2、分布式消息中间件:采用消息中间件将各个服务连接起来,实现服务间的异步通信。3、分布式数据存储:采用分布式数据库或分布式文件系统来存储数据,避免单点故障。4、负载均衡和容错:采用负载均衡和容错机制,使得各个服务可以均衡地处理请求,并且在出现故障时能够自动切换到备用服务。实现云原生:1、容器化:将应用程序打包成容器,实现应用程序的快速部署和运行。2、自动化部署:采用自动化部署工具,实现应用程序的自动化

软考高级系统架构设计师系列论文七十二:论虚拟现实技术的应用与发展

软考高级系统架构设计师系列论文七十二:论虚拟现实技术的应用与发展一、摘要二、正文三、总结一、摘要本文介绍了虚拟现实技术的主要技术和应用,并结合作者本人参加的国家重点实验室的自然科学基金项目,重点讨论了基于图像的建模与绘制在虚拟现实中的重要地位与应用,详细分析了近15年来国际上基于图像的建模与绘制技术的发展状况与当今世界上最先进的研究热点,并详细阐述了作者在国家重点实验室精心基于图像绘制技术科研工作中所参与的系统开发。文章最后,说明了作者所参加的科研项目的开发成果,并简单介绍了作者在试验项目中所发表的论文,对未来几年中虚拟现实技术的发展趋势作出了较为科学的预测并提出了作者本人独到的见解。二、正文

微软零信任用户访问架构解读

概述 微软对零信任的理解和基于微软自身安全产品的实践,提出了零信任战略、原则及建设的关键举措和步骤,并围绕AzureAD构建零信任用户访问参考架构。本文对微软零信任访问的安全架构进行简要阐述和解读。零信任战略零信任很难有清晰的定义,它不是一个产品和平台,而是一个横跨多层的、且经常需要改变传统安全思维方式和实践的一种战略。零信任战略是企业数字化战略的组件,与传统的网络边界的安全方法最大的不同是能增加对各类业务资产,数据和应用的安全保障。微软零信任战略可引领四个方向的安全能力的增强:1)用户访问,零信任首要和最重要的是用户访问,能够使组织明确验证访问资产的每个请求,验证访问者用户的账户和设备的信任