1.概述本文将首先介绍SparkAQESkewedJoin的基本原理以及字节跳动在使用AQESkewedJoin的实践中遇到的一些问题;其次介绍针对遇到的问题所做的相关优化和功能增强,以及相关优化在字节跳动的收益;此外,我们还将分享SkewedJoin的使用经验。2.背景首先对SparkAQESkewedJoin做一个简单的介绍。SparkAdaptiveQueryExecution, 简称SparkAQE,总体思想是动态优化和修改stage的物理执行计划。利用执行结束的上游stage的统计信息(主要是数据量和记录数),来优化下游stage的物理执行计划。SparkAQE能够在stage提交执