【Flink簡(jiǎn)介】

概述

如今的大數(shù)據(jù)技術(shù)應(yīng)用場(chǎng)景，對(duì)實(shí)時(shí)性的要求已經(jīng)越來(lái)越高。作為新一代大數(shù)據(jù)流處理框架，由于非常好的實(shí)時(shí)性，F(xiàn)link獨(dú)樹(shù)一幟，在近些年引起了業(yè)內(nèi)極大的興趣和關(guān)注。Flink能夠提供毫秒級(jí)別的延遲，同時(shí)保證了數(shù)據(jù)處理的低延遲、高吞吐和結(jié)果的正確性，還提供了豐富的時(shí)間類(lèi)型和窗口計(jì)算、Exactly-once 語(yǔ)義支持，另外還可以進(jìn)行狀態(tài)管理，并提供了CEP（復(fù)雜事件處理）的支持。Flink在實(shí)時(shí)分析領(lǐng)域的優(yōu)勢(shì)，使得越來(lái)越多的公司開(kāi)始將實(shí)時(shí)項(xiàng)目向Flink遷移，其社區(qū)也在快速發(fā)展壯大。

目前，F(xiàn)link已經(jīng)成為各大公司實(shí)時(shí)領(lǐng)域的發(fā)力重點(diǎn)，特別是國(guó)內(nèi)以阿里為代表的一眾大廠，都在全力投入，不少公司為Flink社區(qū)貢獻(xiàn)了大量源碼。如今Flink已被很多人認(rèn)為是大數(shù)據(jù)實(shí)時(shí)處理的方向和未來(lái)，很多公司也都在招聘和儲(chǔ)備了解掌握Flink的人才。

數(shù)據(jù)流的運(yùn)行流程

Flink程序在執(zhí)行后被映射到流數(shù)據(jù)流，每個(gè)Flink數(shù)據(jù)流以一個(gè)或多個(gè)源（數(shù)據(jù)輸入，例如消息隊(duì)列或文件系統(tǒng)）開(kāi)始，并以一個(gè)或多個(gè)接收器（數(shù)據(jù)輸出，如消息隊(duì)列、文件系統(tǒng)或數(shù)據(jù)庫(kù)等）結(jié)束。Flink可以對(duì)流執(zhí)行任意數(shù)量的變換，這些流可以被編排為有向無(wú)環(huán)數(shù)據(jù)流圖，允許應(yīng)用程序分支和合并數(shù)據(jù)流。

Flink的數(shù)據(jù)源和接收器

Flink提供現(xiàn)成的源和接收連接器，包括Apache Kafka、Amazon Kinesis、HDFS和Apache Cassandra等。

Flink程序可以作為集群內(nèi)的分布式系統(tǒng)運(yùn)行，也可以以獨(dú)立模式或在YARN、Mesos、基于Docker的環(huán)境和其他資源管理框架下進(jìn)行部署。

Flink的狀態(tài)：檢查點(diǎn)、保存點(diǎn)和容錯(cuò)機(jī)制

Flink檢查點(diǎn)和容錯(cuò)：檢查點(diǎn)是應(yīng)用程序狀態(tài)和源流中位置的自動(dòng)異步快照。在發(fā)生故障的情況下，啟用了檢查點(diǎn)的Flink程序?qū)⒃诨謴?fù)時(shí)從上一個(gè)完成的檢查點(diǎn)恢復(fù)處理，確保Flink在應(yīng)用程序中保持一次性（exactly-once）狀態(tài)語(yǔ)義。檢查點(diǎn)機(jī)制暴露應(yīng)用程序代碼的接口，以便將外部系統(tǒng)包括在檢查點(diǎn)機(jī)制中（如打開(kāi)和提交數(shù)據(jù)庫(kù)系統(tǒng)的事務(wù)）。

Flink保存點(diǎn)的機(jī)制是一種手動(dòng)觸發(fā)的檢查點(diǎn)。用戶(hù)可以生成保存點(diǎn)，停止正在運(yùn)行的Flink程序，然后從流中的相同應(yīng)用程序狀態(tài)和位置恢復(fù)程序。 保存點(diǎn)可以在不丟失應(yīng)用程序狀態(tài)的情況下對(duì)Flink程序或Flink群集進(jìn)行更新。

Flink的數(shù)據(jù)流API

Flink的數(shù)據(jù)流API支持有界或無(wú)界數(shù)據(jù)流上的轉(zhuǎn)換（如過(guò)濾器、聚合和窗口函數(shù)），包含了20多種不同類(lèi)型的轉(zhuǎn)換，可以在Java和Scala中使用。

有狀態(tài)流處理程序的一個(gè)簡(jiǎn)單Scala示例是從連續(xù)輸入流發(fā)出字?jǐn)?shù)并在5秒窗口中對(duì)數(shù)據(jù)進(jìn)行分組的應(yīng)用。

Apache Beam - Flink Runner

Apache Beam“提供了一種高級(jí)統(tǒng)一編程模型，允許（開(kāi)發(fā)人員）實(shí)現(xiàn)可在在任何執(zhí)行引擎上運(yùn)行批處理和流數(shù)據(jù)處理作業(yè)”。Apache Flink-on-Beam運(yùn)行器是功能最豐富的、由Beam社區(qū)維護(hù)的能力矩陣。

data Artisans與Apache Flink社區(qū)一起，與Beam社區(qū)密切合作，開(kāi)發(fā)了一個(gè)強(qiáng)大的Flink runner。

數(shù)據(jù)集API

Flink的數(shù)據(jù)集API支持對(duì)有界數(shù)據(jù)集進(jìn)行轉(zhuǎn)換（如過(guò)濾、映射、連接和分組），包含了20多種不同類(lèi)型的轉(zhuǎn)換。 該API可用于Java、Scala和實(shí)驗(yàn)性的Python API。Flink的數(shù)據(jù)集API在概念上與數(shù)據(jù)流API類(lèi)似。

表API和SQL

Flink的表API是一種類(lèi)似SQL的表達(dá)式語(yǔ)言，用于關(guān)系流和批處理，可以嵌入Flink的Java和Scala數(shù)據(jù)集和數(shù)據(jù)流API中。表API和SQL接口在關(guān)系表抽象上運(yùn)行，可以從外部數(shù)據(jù)源或現(xiàn)有數(shù)據(jù)流和數(shù)據(jù)集創(chuàng)建表。表API支持關(guān)系運(yùn)算符，如表上的選擇、聚合和連接等。

也可以使用常規(guī)SQL查詢(xún)表。表API提供了和SQL相同的功能，可以在同一程序中混合使用。將表轉(zhuǎn)換回?cái)?shù)據(jù)集或數(shù)據(jù)流時(shí)，由關(guān)系運(yùn)算符和SQL查詢(xún)定義的邏輯計(jì)劃將使用Apache Calcite進(jìn)行優(yōu)化，并轉(zhuǎn)換為數(shù)據(jù)集或數(shù)據(jù)流程序。

?

【系統(tǒng)學(xué)習(xí)并掌握Flink】

尚硅谷Flink教程

https://www.bilibili.com/video/BV1gJ411Q72x

課程詳情：
本教程將Flink理論與電商數(shù)據(jù)分析項(xiàng)目實(shí)戰(zhàn)并重，對(duì)Flink基礎(chǔ)理論知識(shí)做了系統(tǒng)的梳理和闡述，并通過(guò)電商用戶(hù)行為分析的具體項(xiàng)目用多個(gè)指標(biāo)進(jìn)行了實(shí)戰(zhàn)演練。為有志于增加大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)、擴(kuò)展流式處理框架知識(shí)的工程師提供了學(xué)習(xí)方式。
一、教程內(nèi)容和目標(biāo)
本教程主要分為兩部分：
第一部分，主要是Flink基礎(chǔ)理論的講解，涉及到各種重要概念、原理和API的用法，并且會(huì)有大量的示例代碼實(shí)現(xiàn)；
第二部分，以電商作為業(yè)務(wù)應(yīng)用場(chǎng)景，以Flink作為分析框架，介紹一個(gè)電商用戶(hù)行為分析項(xiàng)目的開(kāi)發(fā)實(shí)戰(zhàn)。
通過(guò)理論和實(shí)際的緊密結(jié)合，可以使學(xué)員對(duì)Flink有充分的認(rèn)識(shí)和理解，在項(xiàng)目實(shí)戰(zhàn)中對(duì)Flink和流式處理應(yīng)用的場(chǎng)景、以及電商分析業(yè)務(wù)領(lǐng)域有更深刻的認(rèn)識(shí)；并且通過(guò)對(duì)流處理原理的學(xué)習(xí)和與批處理架構(gòu)的對(duì)比，可以對(duì)大數(shù)據(jù)處理架構(gòu)有更全面的了解，為日后成長(zhǎng)為架構(gòu)師打下基礎(chǔ)。
二、誰(shuí)適合學(xué)
1、有一定的 Java、Scala 基礎(chǔ)，希望了解新的大數(shù)據(jù)方向的編程人員
2、有 Java、Scala 開(kāi)發(fā)經(jīng)驗(yàn)，了解大數(shù)據(jù)相關(guān)知識(shí)，希望增加項(xiàng)目經(jīng)驗(yàn)的開(kāi)發(fā)人員
3、有較好的大數(shù)據(jù)基礎(chǔ)，希望掌握Flink及流式處理框架的求職人員