草庐IT

架构的演进

全部标签

Redis集群架构模式概述,引领我们穿越在数据存储的未知之旅

Redis,不仅是数据存储,更是架构的艺术。从主从到哨兵、再到Cluster,每个模式都有着独特的优势。而代理模式,则是应对大规模场景的得力助手。这是一场探险,Redis引领我们穿越在数据存储的未知之旅。本文先简略介绍Redis的几种架构模式,后续合集再逐一进行详细介绍部署、使用及原理。一、主从模式1、简介主从模式是Redis架构中最简单的模式之一,分为主数据库master和从数据库slave两类,主要特点如下:主数据库支持读写操作,数据变化时自动同步给从数据库。从数据库通常为只读,接收主数据库同步的数据。一个主数据库可以拥有多个从数据库,但一个从数据库只能对应一个主数据库。从数据库宕机不影响

NUMA架构:CPU和内存性能瓶颈的终结者!

NUMA的出现我们都知道,CPU是计算机的核心组件,它被设计用来完成计算机的核心任务:计算,这里的计算既包括数学上的运算,还包括条件的判断、IO设备的读写等多个方面。在计算机发展初期,为了提升CPU的计算能力,工程师们的方法是不断增加晶体管的数量和提升CPU的主频,因为这可以让CPU在单位时间内完成更多次数的计算。然而,当技术发展到一定程度之后,CPU的散热和功耗的问题开始变得突出,单纯提升主频开始变得越来越困难,然后工程师们又有了新的想法:既然一个人干活效率有限,那就让更多的人一起干活吧!于是,多核CPU应运而生。多核CPU可以同时处理多个任务,极大地提高了计算机的运算速度。然而,随着核心数

OpenAI开发系列(二):大语言模型发展史及Transformer架构详解

全文共1.8w余字,预计阅读时间约60分钟|满满干货,建议收藏!一、介绍在2020年秋季,GPT-3因其在社交媒体上病毒式的传播而引发了广泛关注。这款拥有超过1.75亿参数和每秒运行成本达到100万美元的大型语言模型(LargeLanguageModels,LLMs)开启了自然语言处理(NLP)领域的新纪元。在这个阶段,大规模预训练模型的涌现彻底改变了NLP的研究和应用格局。大规模语言模型充分挖掘了大量未标注数据的潜力,从而赋予模型更强的语言理解和泛化能力。采用预训练和微调策略的大模型在多个NLP任务上都实现了前所未有的成就,无论是在模型准确性、泛化能力还是复杂任务处理方面,都展示了出色的表现

大数据和智能数据应用架构系列教程之:大数据与环境监测

作者:禅与计算机程序设计艺术1.背景介绍近年来随着人们对城市生活质量、健康状况以及经济发展的关注,环境监测技术已经成为一个热门研究方向。如何从海量数据中提取有意义的信息并快速有效地反应出环境变化、评价环境危机、评估经济发展规划等,成为越来越多研究者面临的新课题。大数据与环境监测(BigDataandEnvironmentalMonitoring)是一个综合性研究领域,涉及包括环境资源利用、环境影响评价、灾害防御、环境效益评估、环境管理、环保政策制定、社会因素影响等多个方面。一般来说,环境监测的任务可以分为四个阶段:第一阶段是原始数据的收集,第二阶段是数据预处理,第三阶段是特征工程,第四阶段是模

Presto的介绍、使用和原理架构

文章目录简介介绍优缺点Presto和hive的对比Presto、Impala性能比较原理架构整体架构sql执行步骤具体分析资源和调度查询调度**资源管理**内存管理内存池为什么要使用内存池内存管理数据模型核心问题之Presto为什么这么快?Presto安装PrestoServer安装Presto命令行Client安装Presto可视化Client安装和使用常用SQL基础SQLDDLDMLDQL插件Presto优化之数据存储合理设置分区使用列式存储ORC使用压缩Snappy内存调优Presto优化之查询SQL只选择使用的字段过滤条件必须加上分区字段GroupBy语句优化Orderby时使用Lim

DC-UNet:重新思考UNet架构和双通道高效CNN医学图像

摘要经典UNet的体系架构在某些方面存在着局限性。因此本文对其结构提出了改进。1)设计高效的CNN架构来取代编码器和解码器;2)在最先进的U-Net模型的基础上,应用残差模块来取代编码器和解码器之间的跳过连接来进行改进。医学图像分割是通过一些自动和半自动的方法来最小化感兴趣区域。。有许多传统的算法被设计来分割组织或身体器官。这些方法可以分为:基于区域的聚类、基于边缘的聚类、基于阈值的聚类和基于特征的聚类。本文提出了一种双通道UNet模型-DC-UNet方法MultiResUNet在医学图像中,感兴趣的目标对象常常有所不同,因此为了更好的分割结果,网络需要具备在不同的尺度上分析不同目标的能力。基

战斗系统框架——整体架构拆解和详述

前言  本文主要是想对目前所学所用的战斗模块进行拆分和梳理,方便加深理解和整理思路。旨在给大家在设计战斗系统的时候提供一个思路和方向,同时详细分析一下目前我对于战斗框架的理解。如果你觉得战斗框架设计没有方向或者想更多的了解战斗整体内容是如何设计的话,可以参考我这篇文章的一些方法和建议。  首先我想先深入探讨下战斗所需要运用的思想。文章目录前言核心思想1、逻辑与表现分离优点2、OOP和ECS设计思想具体架构1.**==系统层==**2.**==实体层==**3.**==组件层==**4.**==网络层==**5.**公共层**6.**平台层**7.**输入层**8.**常量层**功能拆分**技能

计算机网络中的通信子网:架构、协议与技术简介

在计算机网络中,通信子网是负责实现主机之间以及主机与终端之间数据传输的核心部分。它由一系列硬件设备和通信协议组成,为上层应用提供可靠、高效和透明的数据传输服务。本文将详细介绍通信子网的架构、协议与技术。一、通信子网的架构星型拓扑星型拓扑结构是最常见的网络拓扑之一。在星型拓扑中,所有主机通过连接至中央集线器或交换机进行通信。这种拓扑的优点是易于布线和管理,但中央设备故障可能导致整个网络的通信中断。树型拓扑树型拓扑结构是星型拓扑的扩展,它通过将多个星型网络连接在一起,形成层次化的网络结构。树型拓扑的优点是灵活且易于扩展,但随着网络规模的增加,维护和管理变得更加复杂。环型拓扑在环型拓扑中,主机以环状

企业级直播云服务的挑战与架构演进

作者丨刘钧石编辑丨千山本文整理自获得场景视频技术总经理刘钧石在WOT2023大会上的主题分享,更多精彩内容及现场PPT,请关注51CTO技术栈公众号,发消息【WOT2023PPT】即可直接领取。日前,在51CTO主办的WOT全球技术创新大会上,获得场景视频技术总经理刘钧石带来了主题演讲《企业级直播云服务的挑战与架构演进》,围绕企业级直播云服务面临的诸多挑战,详细介绍了获得场景视频在架构演进中的实践和经验总结,为大众呈现了全新的视角。本文将摘选其中精彩内容,统一整理,希望为诸君带来启发。一、企业级直播云服务的挑战成立于2005年的“获得场景视频”致力于面向全行业用户提供一站式视频解决方案,主要业

揭示 ETL 系统架构中的 OLAP、OLTP 和 HTAP

探索ETL系统设计需要了解OLAP、OLTP和不断发展的HTAP。让我们试图剖析这些范式的复杂性。1.OLAP(联机分析处理)OLAP是商业智能的中流砥柱,通过OLAP立方体进行多维数据分析。这些立方体封装了预先聚合、预先计算的数据,为分析查询提供快速响应。OLAP的核心在于其处理涉及聚合和计算的复杂查询的效率,使其成为决策支持系统不可或缺的一部分。特点:聚合:汇总和聚合数据以供报告使用。多维性:允许用户从各种视角探索数据。批处理:通常处理定期的大规模数据更新。2.OLTP(联机事务处理)与OLAP的分析重点相反,OLTP是实时事务处理的堡垒。设计用于管理高并发事务,OLTP系统优先考虑数据完