運行作業界面
在以下界面中,可以查看到作業的名稱、作業的啟動時間、作業總計運行時長、作業一共有多少個任務、當前正在運行多少個任務、以及作業的當前狀態,
這里的程式:一共有17個任務,當前正在運行的是17個任務,

作業概覽界面

在這個界面中,我們可以看到資料流圖,這個程式中,一共有3個算子,

Custom Source任務并行度為1
Flat Map任務并行度為8,
Flink Map –> Sink任務并行度為8
一共是17個任務,
在明細界面中,可以查看到具體每個算子接收的位元組數、記錄數,發送的位元組數、記錄數,并行度,開始時間,持續運行時間,

具體Operator運行情況
點擊某一個Operator,可以查看到該Operator的具體運行資訊,

上圖,我們可以看到Task處理的資料是均勻的,每一個Task都拉取到了差不多的記錄數,
而下面這張圖,我們可以很直觀地看到,3個磁區中是有資料處理的,因為此處我們只有三個單詞:hadoop flink spark,每個單詞都分配到了不同的任務中處理,

Checkpoint界面

Overview
Overview中可以看到Checkpoint的總體概覽情況,
![]()
Triggered表示一共觸發了14個checkpoint,完成了14個,
![]()
Lastest Completed Checkpoint為最近一次checkpoint的情況,可以看到這個checkpoint在state中存盤的大小是5.9KB,
再看一下這個checkpoint的明細資訊:

可以看到這個checkpoint并沒有配置外部的存盤,是保存在Task Manager的記憶體走過來的,而且這個Checkpoint已經被discard掉了,
再看下具體Operators的checkpoint情況,在Flink中每個Operator都是有狀態的,
第一個Source、第二個Flat Map,這兩個Operator都沒有實作Operator State(也就是CheckpointFunction),所以,他們并沒有真正的占用狀態存盤,
而在第三個FlatMap –> Slink Operator走過來,因為使用到了Keyed Manage State中的ValueState,所以,這里狀態存盤中是有值的,

History
在History選項卡中,我們可以看到所有的checkpoint的歷史記錄

Summary

Summary中,可以看到checkpoint的運行時間,
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/32518.html
標籤:大數據
