Shuffle

有些運(yùn)算需要將各節(jié)點(diǎn)上的同一類數(shù)據(jù)匯集到某一節(jié)點(diǎn)進(jìn)行計(jì)算，把這些分布在不同節(jié)點(diǎn)的數(shù)據(jù)按照一定的規(guī)則匯集到一起的過程稱為 Shuffle。后面會有單獨(dú)的文章講 Shuffle。

NarrowDependency

窄依賴，即子RDD依賴于父RDD中固定的Partition。NarrowDependency 分為 OneToOneDependency 和 RangeDependency兩種。

ShuffleDependency

寬依賴，shuffle 依賴，即子 RDD 對父 RDD 中的所有 Partition 都有依賴。