介绍AQE全称是AdaptiveQueryExecution，官网介绍如下PerformanceTuning-Spark3.5.0DocumentationAQE做了什么AQE是SparkSQL的一种动态优化机制，在运行时，每当ShuffleMap阶段执行完毕，AQE都会结合这个阶段的统计信息，基于既定的规则动态地调整、修正尚未执行的逻辑计划和物理计划，来完成对原始查询语句的运行时优化特性自动分区合并：在Shuffle过后，ReduceTask数据分布参差不齐，AQE将自动合并过小的数据分区。Join策略调整：如果某张表在过滤之后，尺寸小于广播变量阈值，这张表参与的数据关联就会从Shuffle

提效7倍，ApacheSpark自适应查询优化在网易的深度实践及改进PerformanceTuning配置SparkSQL开启AdaptiveExecution特性HowToUseSparkAdaptiveQueryExecution(AQE)inKyuubi【spark系列3】spark3.0.1AQE(AdaptiveQueryExection)分析玩转SparkSql优化之3.0特性AQE（六）AsofSpark3.0,therearethreemajorfeaturesinAQE:coalescingpost-shufflepartitions,convertingsort-merge

文章目录Spark3AQE一、背景二、Spark为什么需要AQE?(Why)三、AQE到底是什么？(What)四、AQE怎么用？(How)4.1自动分区合并4.2自动数据倾斜处理4.3Join策略调整五、对比验证5.1执行耗时5.2自动分区合并5.3自动数据倾斜处理六、结论Spark3AQE一、背景Spark2.x在遇到有数据倾斜的任务时，需要人为地去优化任务，比较费时费力；如果任务在Reduce阶段，ReduceTask数据分布参差不齐，会造成各个excutor节点资源利用率不均衡，影响任务的执行效率；Spark3新特性AQE极大地优化了以上任务的执行效率。二、Spark为什么需要AQE?(

1.概述本文将首先介绍SparkAQESkewedJoin的基本原理以及字节跳动在使用AQESkewedJoin的实践中遇到的一些问题；其次介绍针对遇到的问题所做的相关优化和功能增强，以及相关优化在字节跳动的收益；此外，我们还将分享SkewedJoin的使用经验。2.背景首先对SparkAQESkewedJoin做一个简单的介绍。SparkAdaptiveQueryExecution， 简称SparkAQE，总体思想是动态优化和修改stage的物理执行计划。利用执行结束的上游stage的统计信息（主要是数据量和记录数），来优化下游stage的物理执行计划。SparkAQE能够在stage提交执

1.概述本文将首先介绍SparkAQESkewedJoin的基本原理以及字节跳动在使用AQESkewedJoin的实践中遇到的一些问题；其次介绍针对遇到的问题所做的相关优化和功能增强，以及相关优化在字节跳动的收益；此外，我们还将分享SkewedJoin的使用经验。2.背景首先对SparkAQESkewedJoin做一个简单的介绍。SparkAdaptiveQueryExecution， 简称SparkAQE，总体思想是动态优化和修改stage的物理执行计划。利用执行结束的上游stage的统计信息（主要是数据量和记录数），来优化下游stage的物理执行计划。SparkAQE能够在stage提交执