草庐IT

springcloudgateway分布式

全部标签

聊聊分布式数据库TDSQL的技术架构

大家好,我是飞哥!咱们很多读者都是在互联网公司工作,大部分同学会有一种认知偏差,总以为互联网的业务对技术的要求是最高的。但其实不然。比如在对延时的要求上,高频量化交易就比互联网的延迟要求要高得多。在数据库上,银行、证券、电信在这些行业中对数据库的要求也比互联网高得多。拿银行举例,银行的系统里是连一分钱都不能错的,而且即使是十几年前的交易记录也必须能够查出来,对安全性的要求就更不用说了。在过去很长的一段时间里,这些行业选择数据库基本上就是Oracle和IBM的天下,各家企业在选型时基本就是Oracle和 DB2 之间二选一。但前几天看到IDC发布了《中国分布式关系型数据库2023年厂商评估》的报

鸿蒙原生应用开发——分布式数据对象

01、什么是分布式数据对象在可信组网环境下,多个相互组网认证的设备将各自创建的对象加入同一个sessionId,使得加入的多个数据对象之间可以同步数据,也就是说,当某一数据对象属性发生变更时,其他数据对象会检测到这一变更,同时将自身属性更新。此时,该sessionId下的所有数据对象属性相同,这样的数据对象称之为分布式数据对象。此外,分布式数据对象可以被动退出sessionId,当分布式数据对象退出sessionId后,该对象将检测不到其他对象的变更。02、分布式数据对象能力1、 分布式数据对象创建2、 分布式数据对象查询3、 分布式数据对象修改4、 分布式数据对象删除5、 分布式数据对象保存

分布式数据库NoSQL(五)——MongoDB 之滴滴、摩拜都在用的索引

MongoDB常用于大数据的存储,在庞大的数据中查询出我们所要的信息,如果使用普通查询方法,遍历所有文档查询,花费的时间太久了。假设现在有个集合person,查询命令:db.person.find({age:18}),查询所有年龄18岁的人,这时需要遍历所有的文档(全表扫描),根据位置信息读出文档,对比age字段是否为18。当然如果只有4条文档,全表扫描的开销并不大,但如果集合文档数量到百万、甚至千万上亿的时候,对集合进行全表扫描开销是非常大的,一个查询耗费数十秒甚至几分钟都有可能。这时候我们就需要考虑使用索引了。其中,地理位置索引支持是MongoDB的一大亮点,随着智能手机的兴起,查询当前位

超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程!)

超详细版本|LinuxCentos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程!)关键字和相关配置版本关键字:LinuxCentOSHadoopJava版本:CentOS7Hadoop3.2.0JDK1.8虚拟机参数信息内存3.2G、处理器2x2、内存50GISO:CentOS-7-x86_64-DVD-2009.iso基本主从思路:先把基础的设置(SSH、JDK、Hadooop、环境变量、Hadoop和MapReduce配置信息)在一台虚拟机(master)上配好,通过克隆修改节点IP、主机名、添加主从ip与对应的主机名,获得剩下一台虚拟机(node1)!

分布式 - 消息队列Kafka:Kafka broker常见问题总结

文章目录01.什么是KafkaBroker?02.KafkaBroker的角色是什么?03.KafkaBroker的工作原理是什么?04.KafkaBroker的重要性是什么?05.KafkaBroker如何处理故障?06.KafkaBroker工作流程?07.KafkaBroker作用是什么?08.KafkaBroker如何负载均衡?09.KafkaController节点的选举流程?10.KafkaController节点的作用?11.kafkaController节点如何进行副本分配?12.KafkaController节点如何进行leader选举?13.Kafka副本选举流程?01.什

【Python】芜湖市空气质量指数可视化(散点图、分类散点图、单变量分布图、线性回归拟合图、相关性热力图)

【Python】芜湖市空气质量指数可视化本文仅供学习参考,如有错误,还请指正!一、简介空气质量指数(AirQualityIndex,AQI)简而言之就是能够对空气质量进行定量描述的数据。空气质量(AirQuality)的好坏反映了空气污染程度,它是依据空气中污染物浓度的高低来判断的。空气污染是一个复杂的现象,在特定的时间和地点,空气污染物浓度受到许多因素影响。下图是安徽芜湖市2020年空气质量指数的部分数据,请使用所给数据完成下列任务。二、题目要求(1)使用pandas库读取芜湖市2020年空气质量指数统计数据。(2)绘制AQI和PM2.5的关系散点图。(3)绘制空气质量等级分类散点图。(4)

【分布式微服务】feign 异步调用获取不到ServletRequestAttributes

公司调用接口的时候使用feign,但是服务之间还是使用了鉴权,需要通过RequestInterceptor去传递uuid概念OpenFeign是一个声明式的Web服务客户端,它使得编写HTTP客户端变得更简单。在使用OpenFeign进行异步调用时,你可以通过配置来实现。但是,如果你在配置或调用过程中遇到问题,可能会导致ServletRequestAttributes对象的attributes属性为null。另外,Feign是一个通过处理注解,将请求模板化,当实际调用的时候,传入参数,根据参数再应用到请求上,进而转化成真正的请求的框架。其核心就是将以JAVA注解的方式定义的远程调用API接口,

【深入浅出Seata原理及实战】「入门基础专题」探索Seata服务的AT模式下的分布式开发实战指南(2)

承接上文上一篇文章说到了Seata为用户提供了AT、TCC、SAGA和XA事务模式,为用户打造一站式的分布式解决方案。那么接下来我们将要针对于AT模式下进行分布式事务开发的原理进行介绍以及实战。SeataAT模式在AT、TCC、SAGA和XA这四种事务模式中使用最多,最方便的就是AT模式。与其他事务模式相比,AT模式可以应对大多数的业务场景,且基本可以做到无业务入侵,开发人员能够有更多的精力关注于业务逻辑开发。使用AT模式的前提任何应用想要使用Seata的AT模式对分布式事务进行控制,必须满足以下2个前提:必须使用支持本地ACID事务特性的关系型数据库,例如MySQL、Oracle等;应用程序

架构师必知必会系列:区块链与分布式账本

作者:禅与计算机程序设计艺术1.背景介绍区块链与分布式账本是分布式数据库系统和公共信息技术领域的重要分支。通过去中心化、共识机制、密码学、匿名性等特性,能够帮助企业解决大数据存储、共享、交易、合规、审计等方面的问题。区块链是一个重要的新生事物,已经成为众多互联网公司的重点研发方向。现在越来越多的人开始关注区块链技术,同时也越来越多的企业或组织采用了区块链技术。为了帮助读者更好地理解区块链和分布式账本技术,我们尝试将其总结成一套完整的知识体系。在本系列中,我们将从以下几个方面进行介绍:区块链的基本概念及其特点分布式账本的概念及其特点区块链中的共识机制及其工作原理如何使用区块链实现分布式存储什么是

【SparkSQL】SparkSQL的运行流程 & Spark On Hive & 分布式SQL执行引擎

【大家好,我是爱干饭的猿,本文重点介绍、SparkSQL的运行流程、SparkSQL的自动优化、Catalyst优化器、SparkSQL的执行流程、SparkOnHive原理配置、分布式SQL执行引擎概念、代码JDBC连接。后续会继续分享其他重要知识点总结,如果喜欢这篇文章,点个赞👍,关注一下吧】上一篇文章:《【SparkSQL】SparkSQL函数定义(重点:定义UDF函数、使用窗口函数)》5.SparkSQL的运行流程5.1SparkRDD的执行流程回顾代码->DAG调度器逻辑任务->Task调度器任务分配和管理监控->Worker干活5.2SparkSQL的自动优化RDD的运行会完全按照