Spark 3.0 AQE 梳理

AQE简介

自 Spark 3.0 开始，引入了自适应查询执行（Adaptive Query Execution，简称 AQE）功能。在传统的查询执行过程中，Spark 需要根据预先设置的配置参数来决定查询计划中的操作顺序和数据分区等情况。然而，这种静态优化的方式可能会导致计划的不准确，从而影响查询性能。

为了解决这个问题，Spark 3.0 引入了 AQE 的概念。AQE 可以根据查询的数据分布、数据倾斜等动态信息来调整查询计划以及优化执行策略。通过动态的优化，Spark 可以选择更加适合当前查询的执行操作，从而提升查询性能。

AQE 的工作原理

AQE 主要通过两个关键的机制来实现：动态重优化和自动推断适配度。

1. 动态重优化：在传统的查询优化中，Spark 会根据一些静态的统计信息来生成查询计划。而 AQE 可以根据动态的统计信息和运行时监控数据来调整查询计划，以更好地适应当前的数据情况。例如，当一个操作执行时发现数据倾斜，AQE 可以自动根据当前的运行情况选择更合适的算子来处理倾斜的数据，从而避免了数据倾斜带来的性能问题。

2. 自动推断适配度：AQE 还可以根据查询中不同操作之间的关系和数据的属性等信息，自动推断适配度，并根据适配度进行操作的重排序和数据分区的调整，以提升查询性能。例如，一个 Join 操作可能在某些情况下更适合在 Shuffle 之前进行，而在另一些情况下更适合在 Shuffle 之后进行。

AQE 的优势

Spark 3.0 AQE 引入的动态优化机制，能够带来以下几点优势：

1. 自适应：AQE 可根据运行时的情况来动态调整查询计划，不再依赖于静态的配置参数。这样可以更好地适应不同查询的特点，提升查询性能。

2. 自动化：AQE 可以自动根据查询的结构和数据的属性等信息来推断适配度，并自动重排序和调整数据分区等操作。这样，开发者无需手动干预查询计划，即可获得更好的性能。

3. 扩展性：AQE 可以通过动态重优化和自动推断适配度的机制，适应不同规模的数据和查询，保证查询的性能始终处于一个相对较高的水平。