在MapReduce框架中，Shuffle阶段是连接Map与Reduce之间的桥梁，Map阶段通过Shuffle过程将数据输出到Reduce阶段中。由于Shuffle涉及磁盘的读写和网络I/O，因此Shuffle性能的高低直接影响整个程序的性能。Spark也有Map阶段和Reduce阶段，因此也会出现Shuffle。文章都会首发在公众号【五分钟学大数据】SparkShuffleSparkShuffle分为两种：一种是基于Hash的Shuffle；另一种是基于Sort的Shuffle。先介绍下它们的发展历程，有助于我们更好的理解Shuffle：在Spark1.1之前，Spark中只实现了一种Sh
在MapReduce框架中，Shuffle阶段是连接Map与Reduce之间的桥梁，Map阶段通过Shuffle过程将数据输出到Reduce阶段中。由于Shuffle涉及磁盘的读写和网络I/O，因此Shuffle性能的高低直接影响整个程序的性能。Spark也有Map阶段和Reduce阶段，因此也会出现Shuffle。文章都会首发在公众号【五分钟学大数据】SparkShuffleSparkShuffle分为两种：一种是基于Hash的Shuffle；另一种是基于Sort的Shuffle。先介绍下它们的发展历程，有助于我们更好的理解Shuffle：在Spark1.1之前，Spark中只实现了一种Sh
MGR的新主选举算法，在节点版本一致的情况下，其实也挺简单的。首先比较权重，权重越高，选为新主的优先级越高。如果权重一致，则会进一步比较节点的server_uuid。server_uuid越小，选为新主的优先级越高。所以，在节点版本一致的情况下，会选择权重最高，server_uuid最小的节点作为新的主节点。节点的权重由group_replication_member_weight决定，该参数是MySQL5.7.20引入的，可设置0到100之间的任意整数值，默认是50。但如果集群节点版本不一致，实际的选举算法就没这么简单了。下面，我们结合源码具体分析下。代码实现逻辑新主选举算法主要会涉及三个函
MGR的新主选举算法，在节点版本一致的情况下，其实也挺简单的。首先比较权重，权重越高，选为新主的优先级越高。如果权重一致，则会进一步比较节点的server_uuid。server_uuid越小，选为新主的优先级越高。所以，在节点版本一致的情况下，会选择权重最高，server_uuid最小的节点作为新的主节点。节点的权重由group_replication_member_weight决定，该参数是MySQL5.7.20引入的，可设置0到100之间的任意整数值，默认是50。但如果集群节点版本不一致，实际的选举算法就没这么简单了。下面，我们结合源码具体分析下。代码实现逻辑新主选举算法主要会涉及三个函
Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。本文首发于公众号【五分钟学大数据】，本公号专注于大数据技术，分享高质量大数据原创技术文章。一、Shuffle的核心概念1.ShuffleMapStage与ResultStageShuffleMapStage与ResultStage在划分stage时，最后一个stage称为FinalStage，它本质上是一个ResultStage对象，前面
Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。本文首发于公众号【五分钟学大数据】，本公号专注于大数据技术，分享高质量大数据原创技术文章。一、Shuffle的核心概念1.ShuffleMapStage与ResultStageShuffleMapStage与ResultStage在划分stage时，最后一个stage称为FinalStage，它本质上是一个ResultStage对象，前面
故障检测（FailureDetection）是GroupReplication的一个核心功能模块，通过它可以及时识别集群中的故障节点，并将故障节点从集群中剔除掉。如果不将故障节点及时剔除的话，一方面会影响集群的性能，另一方面还会阻止集群拓扑的变更。下面结合一个具体的案例，分析GroupReplication的故障检测流程。除此之外，本文还会分析以下问题。当出现网络分区时，对于少数派节点，会有什么影响？什么是XComCache？如何预估XComCache的大小？在线上，为什么group_replication_member_expel_timeout不宜设置过大？案例以下是测试集群的拓扑，多主模
故障检测（FailureDetection）是GroupReplication的一个核心功能模块，通过它可以及时识别集群中的故障节点，并将故障节点从集群中剔除掉。如果不将故障节点及时剔除的话，一方面会影响集群的性能，另一方面还会阻止集群拓扑的变更。下面结合一个具体的案例，分析GroupReplication的故障检测流程。除此之外，本文还会分析以下问题。当出现网络分区时，对于少数派节点，会有什么影响？什么是XComCache？如何预估XComCache的大小？在线上，为什么group_replication_member_expel_timeout不宜设置过大？案例以下是测试集群的拓扑，多主模
