Spark 3.0新特性

• 動(dòng)態(tài)分區(qū)裁剪（Dynamic Partition Pruning）

• 默認(rèn)的分區(qū)裁剪只有在單表查詢過濾時(shí)才有效

• 開啟動(dòng)態(tài)分區(qū)裁剪：自動(dòng)在Join時(shí)對(duì)兩邊表的數(shù)據(jù)根據(jù)條件進(jìn)行查詢過濾，將過濾后的結(jié)果再進(jìn)行join

  spark.sql.optimizer.dynamicPartitionPruning.enabled=true

開啟動(dòng)態(tài)分區(qū)裁剪之后,過濾條件都會(huì)先執(zhí)行 不論是on 還是 where 還是 主副表的條件都會(huì)執(zhí)行