草庐IT

主从分片

全部标签

MySQL的主从复制和分库分表初探

主从复制+分库分表要讲主从复制,首先来看看MySQL自带的日志文件。日志错误日志错误日志是MySQL中最重要的日志之一,它记录了当mysqld启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时,建议首先查看此日志文件。该日志是默认开启的,默认存放目录/var/log/,默认的日志文件名为mysqld.log。查看日志位置:showvariableslike'%log_error%';通过tail指令查看日志文件的尾部记录的日志:tail-50/var/log/mysqld.log实时查看文件尾部记录的日志:tail-f/var/log/my

MySQL的主从复制和分库分表初探

主从复制+分库分表要讲主从复制,首先来看看MySQL自带的日志文件。日志错误日志错误日志是MySQL中最重要的日志之一,它记录了当mysqld启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时,建议首先查看此日志文件。该日志是默认开启的,默认存放目录/var/log/,默认的日志文件名为mysqld.log。查看日志位置:showvariableslike'%log_error%';通过tail指令查看日志文件的尾部记录的日志:tail-50/var/log/mysqld.log实时查看文件尾部记录的日志:tail-f/var/log/my

Redis主从复制,哨兵模式和集群模式

一、主从复制1.1主从复制-哨兵-集群主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案

Redis主从复制,哨兵模式和集群模式

一、主从复制1.1主从复制-哨兵-集群主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案

01-MySQL主从复制

问题导入在之前项目的基础功能实现中,后台管理和移动端在进行数据访问的时候,都是直接操作数据库MySQL。此时的系统有且仅有一台MySQL服务器,则可能会出现如下问题①、读和写所有压力都由一台数据库承担,压力大②、数据库服务器磁盘损坏导致数据丢失,单点故障解决方案很简单,一台服务器撑不住,那就多台服务器为了解决上述提到的两个问题,我们可以准备两台MySQL,一台主(Master)服务器,一台从(Slave)服务器,主库的数据变更(写、更新、删除这些操作),需要同步到从库中(主从复制)。而用户在访问我们项目时,如果是写操作(insert、update、delete),则直接操作主库;如果是读(se

01-MySQL主从复制

问题导入在之前项目的基础功能实现中,后台管理和移动端在进行数据访问的时候,都是直接操作数据库MySQL。此时的系统有且仅有一台MySQL服务器,则可能会出现如下问题①、读和写所有压力都由一台数据库承担,压力大②、数据库服务器磁盘损坏导致数据丢失,单点故障解决方案很简单,一台服务器撑不住,那就多台服务器为了解决上述提到的两个问题,我们可以准备两台MySQL,一台主(Master)服务器,一台从(Slave)服务器,主库的数据变更(写、更新、删除这些操作),需要同步到从库中(主从复制)。而用户在访问我们项目时,如果是写操作(insert、update、delete),则直接操作主库;如果是读(se

MySQL主从备库过滤参数分析和测试

测试环境:GTID的主从复制,主库(9900)——》备库(9909),存在测试库表:9900_db1库:t1、t2、t3、t4、t5表9900_db2库:t6、t7、t8、t9、t10表 1、replicate-do-db参数:--replicate-do-db=name,只同步指定的数据库,可以使用CHANGEREPLICATIONFILTERREPLICATE_DO_DB来创建,比如现在只同步9900_db1库,需要在从库执行:mysql>stopslavesql_thread;QueryOK,0rowsaffected(0.01sec)mysql>changereplicationfil

MySQL主从备库过滤参数分析和测试

测试环境:GTID的主从复制,主库(9900)——》备库(9909),存在测试库表:9900_db1库:t1、t2、t3、t4、t5表9900_db2库:t6、t7、t8、t9、t10表 1、replicate-do-db参数:--replicate-do-db=name,只同步指定的数据库,可以使用CHANGEREPLICATIONFILTERREPLICATE_DO_DB来创建,比如现在只同步9900_db1库,需要在从库执行:mysql>stopslavesql_thread;QueryOK,0rowsaffected(0.01sec)mysql>changereplicationfil

Spring Boot 分片上传、断点续传、大文件上传、秒传,应有尽有,建议收藏!!

文件上传是一个老生常谈的话题了,在文件相对比较小的情况下,可以直接把文件转化为字节流上传到服务器,但在文件比较大的情况下,用普通的方式进行上传,这可不是一个好的办法,毕竟很少有人会忍受,当文件上传到一半中断后,继续上传却只能重头开始上传,这种让人不爽的体验。那有没有比较好的上传体验呢,答案有的,就是下边要介绍的几种上传方式。1、分片上传1.1什么是分片上传分片上传,就是将所要上传的文件,按照一定的大小,将整个文件分隔成多个数据块(我们称之为Part)来进行分别上传,上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。1.2分片上传的场景大文件上传网络环境环境不好,存在需要重传风险的场

Spring Boot 分片上传、断点续传、大文件上传、秒传,应有尽有,建议收藏!!

文件上传是一个老生常谈的话题了,在文件相对比较小的情况下,可以直接把文件转化为字节流上传到服务器,但在文件比较大的情况下,用普通的方式进行上传,这可不是一个好的办法,毕竟很少有人会忍受,当文件上传到一半中断后,继续上传却只能重头开始上传,这种让人不爽的体验。那有没有比较好的上传体验呢,答案有的,就是下边要介绍的几种上传方式。1、分片上传1.1什么是分片上传分片上传,就是将所要上传的文件,按照一定的大小,将整个文件分隔成多个数据块(我们称之为Part)来进行分别上传,上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。1.2分片上传的场景大文件上传网络环境环境不好,存在需要重传风险的场