?鎖屏面試題百日百刷，每個(gè)工作日?qǐng)?jiān)持更新面試題。鎖屏面試題app、小程序現(xiàn)已上線，官網(wǎng)地址：https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內(nèi)容，還包含特色的解鎖屏幕復(fù)習(xí)面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題：

1.分別簡(jiǎn)述Spark中的緩存機(jī)制并指出兩者的區(qū)別與聯(lián)系

都是做RDD持久化的

cache:內(nèi)存，不會(huì)截?cái)嘌夑P(guān)系，使用計(jì)算過程中的數(shù)據(jù)緩存。

checkpoint：磁盤，截?cái)嘌夑P(guān)系，在ck之前必須沒有任何任務(wù)提交才會(huì)生效，ck過程會(huì)額外提交一次任務(wù)。

2.如何理解Spark中的血統(tǒng)概念（RDD）?

RDD在Lineage依賴方面分為兩種Narrow Dependencies與Wide Dependencies用來解決數(shù)據(jù)容錯(cuò)時(shí)的高效性以及劃分任務(wù)時(shí)候起到重要作用。

3.簡(jiǎn)述Spark的寬窄依賴，以及Spark如何劃分stage，每個(gè)stage又根據(jù)什么決定task個(gè)數(shù)?

Stage：根據(jù)RDD之間的依賴關(guān)系的不同將Job劃分成不同的Stage，遇到一個(gè)寬依賴則劃分一個(gè)Stage。

Task：Stage是一個(gè)TaskSet，將Stage根據(jù)分區(qū)數(shù)劃分成一個(gè)個(gè)的Task。

4.請(qǐng)列舉Spark的action算子（不少于6個(gè)），并簡(jiǎn)述功能（重點(diǎn)）

1）reduce：

2）collect:

3）first：

4）take：

5）aggregate：

6）countByKey

7）foreach：

8）saveAsTextFile：

5.請(qǐng)列舉會(huì)引起Shuffle過程的Spark算子，并簡(jiǎn)述功能。

reduceBykey：

groupByKey：

…ByKey:

6.請(qǐng)列舉Spark的groupByKey算子底層實(shí)現(xiàn)

GroupByKey算子底層實(shí)現(xiàn)是基于combineByKey結(jié)合ShuffleRDD構(gòu)建。

combineByKey(createCombiner: V=>C, mergeValue: (C, V) =>C, mergeCombiners: (C, C) =>C):對(duì)相同K，把V合并成一個(gè)集合。

1.createCombiner: combineByKey() 會(huì)遍歷分區(qū)中的所有元素，因此每個(gè)元素的鍵要么還沒有遇到過，要么就和之前的某個(gè)元素的鍵相同。如果這是一個(gè)新的元素,combineByKey()會(huì)使用一個(gè)叫作createCombiner()的函數(shù)來創(chuàng)建那個(gè)鍵對(duì)應(yīng)的累加器的初始值

2.mergeValue: 如果這是一個(gè)在處理當(dāng)前分區(qū)之前已經(jīng)遇到的鍵，它會(huì)使用mergeValue()方法將該鍵的累加器對(duì)應(yīng)的當(dāng)前值與這個(gè)新的值進(jìn)行合并

3.mergeCombiners: 由于每個(gè)分區(qū)都是獨(dú)立處理的， 因此對(duì)于同一個(gè)鍵可以有多個(gè)累加器。如果有兩個(gè)或者更多的分區(qū)都有對(duì)應(yīng)同一個(gè)鍵的累加器， 就需要使用用戶提供的 mergeCombiners() 方法將各個(gè)分區(qū)的結(jié)果進(jìn)行合并。