大資料面試題之葵花寶典------Flink高級

1、Flink Job的提交流程

用戶提交的Flink Job會被轉化成一個DAG任務運行，分別是：StreamGraph、JobGraph、ExecutionGraph，Flink中JobManager與TaskManager，JobManager與Client的互動是基于Akka工具包的，是通過訊息驅動，整個Flink Job的提交還包含著ActorSystem的創建，JobManager的啟動，TaskManager的啟動和注冊，

2、Flink所謂"三層圖"結構是哪幾個"圖"？

一個Flink任務的DAG生成計算圖大致經歷以下三個程序：
1、StreamGraph 最接近代碼所表達的邏輯層面的計算拓撲結構，按照用戶代碼的執行順序向StreamExecutionEnvironment添加StreamTransformation構成流式圖，
2、JobGraph 從StreamGraph生成，將可以串聯合并的節點進行合并，設定節點之間的邊，安排資源共享slot槽位和放置相關聯的節點，上傳任務所需的檔案，設定檢查點配置等，相當于經過部分初始化和優化處理的任務圖，
3、ExecutionGraph 由JobGraph轉換而來，包含了任務具體執行所需的內容，是最貼近底層實作的執行圖

3、JobManger在集群中扮演了什么角色？

JobManager 負責整個 Flink 集群任務的調度以及資源的管理，從客戶端中獲取提交的應用，然后根據集群中 TaskManager 上 TaskSlot 的使用情況，為提交的應用分配相應的 TaskSlot 資源并命令 TaskManager 啟動從客戶端中獲取的應用，JobManager 相當于整個集群的 Master 節點，且整個集群有且只有一個活躍的 JobManager ，負責整個集群的任務管理和資源管理，JobManager 和 TaskManager 之間通過 Actor System 進行通信，獲取任務執行的情況并通過 Actor System 將應用的任務執行情況發送給客戶端，同時在任務執行的程序中，Flink JobManager 會觸發 Checkpoint 操作，每個 TaskManager 節點 收到 Checkpoint 觸發指令后，完成 Checkpoint 操作，所有的 Checkpoint 協調程序都是在 Fink JobManager 中完成，當任務完成后，Flink 會將任務執行的資訊反饋給客戶端，并且釋放掉 TaskManager 中的資源以供下一次提交任務使用，

4、JobManger在集群啟動程序中起到什么作用？

JobManager的職責主要是接收Flink作業，調度Task，收集作業狀態和管理TaskManager，它包含一個Actor，并且做如下操作：
1、RegisterTaskManager: 它由想要注冊到JobManager的TaskManager發送，注冊成功會通過AcknowledgeRegistration訊息進行Ack，
2、SubmitJob: 由提交作業到系統的Client發送，提交的資訊是JobGraph形式的作業描述資訊，
3、CancelJob: 請求取消指定id的作業，成功會回傳CancellationSuccess，否則回傳CancellationFailure，
4、UpdateTaskExecutionState: 由TaskManager發送，用來更新執行節點(ExecutionVertex)的狀態，成功則回傳true，否則回傳false，
5、RequestNextInputSplit: TaskManager上的Task請求下一個輸入split，成功則回傳NextInputSplit，否則回傳null，
6、JobStatusChanged： 它意味著作業的狀態(RUNNING, CANCELING, FINISHED,等)發生變化，這個訊息由ExecutionGraph發送，

5、TaskManager在集群中扮演了什么角色？

TaskManager 相當于整個集群的 Slave 節點，負責具體的任務執行和對應任務在每個節點上的資源申請和管理，客戶端通過將撰寫好的 Flink 應用編譯打包，提交到 JobManager，然后 JobManager 會根據已注冊在 JobManager 中 TaskManager 的資源情況，將任務分配給有資源的 TaskManager節點，然后啟動并運行任務，TaskManager 從 JobManager 接收需要部署的任務，然后使用 Slot 資源啟動 Task，建立資料接入的網路連接，接收資料并開始資料處理，同時 TaskManager 之間的資料互動都是通過資料流的方式進行的，可以看出，Flink 的任務運行其實是采用多執行緒的方式，這和 MapReduce 多 JVM 進行的方式有很大的區別，Flink 能夠極大提高 CPU 使用效率，在多個任務和 Task 之間通過 TaskSlot 方式共享系統資源，每個 TaskManager 中通過管理多個 TaskSlot 資源池進行對資源進行有效管理，

6、TaskManager在集群啟動程序中起到什么作用？

TaskManager的啟動流程較為簡單：
啟動類：org.apache.flink.runtime.taskmanager.TaskManager
核心啟動方法 ： selectNetworkInterfaceAndRunTaskManager
啟動后直接向JobManager注冊自己，注冊完成后，進行部分模塊的初始化，

7、Flink 計算資源的調度是如何實作的？

1、TaskManager中最細粒度的資源是Task slot，代表了一個固定大小的資源子集，每個TaskManager會將其所占有的資源平分給它的slot，
2、通過調整 task slot 的數量，用戶可以定義task之間是如何相互隔離的，每個 TaskManager 有一個slot，也就意味著每個task運行在獨立的 JVM 中，每個 TaskManager 有多個slot的話，也就是說多個task運行在同一個JVM中，
3、而在同一個JVM行程中的task，可以共享TCP連接（基于多路復用）和心跳訊息，可以減少資料的網路傳輸，也能共享一些資料結構，一定程度上減少了每個task的消耗， 每個slot可以接受單個task，也可以接受多個連續task組成的pipeline，如下圖所示，FlatMap函式占用一個taskslot，而key Agg函式和sink函式共用一個taskslot：

8、簡述Flink的資料抽象及資料交換程序？

Flink 為了避免JVM的固有缺陷例如java物件存盤密度低，FGC影響吞吐和回應等，實作了自主管理記憶體，MemorySegment就是Flink的記憶體抽象，默認情況下，一個MemorySegment可以被看做是一個32kb大的記憶體塊的抽象，這塊記憶體既可以是JVM里的一個byte[]，也可以是堆外記憶體（DirectByteBuffer），在MemorySegment這個抽象之上，Flink在資料從operator內的資料物件在向TaskManager上轉移，預備被發給下個節點的程序中，使用的抽象或者說記憶體物件是Buffer，對接從Java物件轉為Buffer的中間物件是另一個抽象StreamRecord，

9、Flink 中的分布式快斬訓制是如何實作的？

Flink的容錯機制的核心部分是制作分布式資料流和操作算子狀態的一致性快照， 這些快照充當一致性checkpoint，系統可以在發生故障時回滾， Flink用于制作這些快照的機制在“分布式資料流的輕量級異步快照”中進行了描述， 它受到分布式快照的標準Chandy-Lamport演算法的啟發，專門針對Flink的執行模型而定制，

barriers在資料流源處被注入并行資料流中，快照n的barriers被插入的位置（我們稱之為Sn）是快照所包含的資料在資料源中最大位置，例如，在Apache Kafka中，此位置將是磁區中最后一條記錄的偏移量， 將該位置Sn報告給checkpoint協調器（Flink的JobManager），然后barriers向下游流動，當一個中間操作算子從其所有輸入流中收到快照n的barriers時，它會為快照n發出barriers進入其所有輸出流中， 一旦sink操作算子（流式DAG的末端）從其所有輸入流接收到barriers n，它就向checkpoint協調器確認快照n完成，在所有sink確認快照后，意味快照著已完成，一旦完成快照n，job將永遠不再向資料源請求Sn之前的記錄，因為此時這些記錄（及其后續記錄）將已經通過整個資料流拓撲，也即是已經被處理結束，

10、簡單說說FlinkSQL的是如何實作的？

Flink 將 SQL 校驗、SQL 決議以及 SQL 優化交給了Apache Calcite，Calcite 在其他很多開源專案里也都應用到了，譬如 Apache Hive, Apache Drill, Apache Kylin, Cascading，Calcite 在新的架構中處于核心的地位，如下圖所示，

構建抽象語法樹的事情交給了 Calcite 去做，SQL query 會經過 Calcite 決議器轉變成 SQL 節點樹，通過驗證后構建成 Calcite 的抽象語法樹（也就是圖中的 Logical Plan），另一邊，Table API 上的呼叫會構建成 Table API 的抽象語法樹，并通過 Calcite 提供的 RelBuilder 轉變成 Calcite 的抽象語法樹，然后依次被轉換成邏輯執行計劃和物理執行計劃，在提交任務后會分發到各個 TaskManager 中運行，在運行時會使用 Janino 編譯器編譯代碼后運行，

大資料面試題之葵花寶典------Hadoop
大資料面試題之葵花寶典------flume
大資料面試題之葵花寶典------Flink初級
大資料面試題之葵花寶典------Flink中級