Hudi 為 Hadoop Upsert and Incremental 的縮寫，Incremental 即 Incremental pull，也就是增加拉取，是一種類似于消息隊(duì)列的流式消費(fèi)。

單寫保證

• upsert

保證不重復(fù)。

• insert

如果開啟了去重，保證不重復(fù)。

• bulk_insert

如果開啟了去重，保證不重復(fù)。

• 增加拉?。╥ncremental pull）

保證數(shù)據(jù)的消費(fèi)和檢查點(diǎn)不亂序。

多寫保證

• upsert

保證不重復(fù)。

• insert

即使開啟了去重，也保證不重復(fù)。

• bulk_insert

即使開啟了去重，也保證不重復(fù)。

• 增加拉?。╥ncremental pull）

數(shù)據(jù)的消費(fèi)和檢查點(diǎn)可能亂序，由于多個(gè)寫作業(yè)（Job）完成的時(shí)間不同。

參考：

Version: 0.13.0
Concurrency Control。

原文鏈接：https://www.dianjilingqu.com/741638.html