github地址:https://github.com/wxzz/CSharpFlink
gitee地址:https://gitee.com/wxzz/CSharpFlink參考:[開源地址] 放棄Flink,.NET5.0開發CSharpFlink,簡要設計、部署及二次開發說明,
1 計算機硬體配置
CPU:4核 I5-7400 2.7GHz,記憶體:16G,隨機資料點時間視窗和計算算子,主節點CPU和記憶體使用情況:15%-35%、1500MB-2048MB, 作業節點CPU和記憶體使用情況:0.1%-2.5%、18MB-30MB,運行效果,如下圖:

2 計算節點及任務配置
本機部署1個主節點,10個計算節點,主節點生成10萬個資料點的計算任務,每個資料點1秒鐘產生一個新資料,計算時間視窗的最大值、最小值、平均值或和值,
聚合計算型別:
計算統計:CSharpFlink.Core.Window.Operator.Avg:25003
計算統計:CSharpFlink.Core.Window.Operator.Max:24892
計算統計:CSharpFlink.Core.Window.Operator.Sum:25133
計算統計:CSharpFlink.Core.Window.Operator.Min:24972
資料點時間視窗統計:
視窗統計:60秒視窗:25015
視窗統計:5秒視窗:24976
視窗統計:3600秒視窗:25130
視窗統計:300秒視窗:24879
如下圖:

3 配制檔案引數
如下圖:

(1)MaxDegreeOfParallelism:任務并行度,主節點生成任務、作業節點處理任務依賴這個引數,
(2)MasterListenPort:主節點偵聽埠,用于作業節點主動連接,
(3)MasterIp:主節點IP,用于作業節點主動連接,
(4)NodeType:節點運行模式,包括:Master、Slave和Both,
(5)RemoteInvokeInterval:遠程呼叫作業節點間隔時間,單位:毫秒,
(6)RepeatRemoteInvokeInterval:呼叫作業節點失敗后,重新呼叫作業節點間隔時間,單位:毫秒,
(7)SlaveExcuteCalculateInterval:作業節點執行計算任務間隔時間,單位:毫秒,
(8)MaxFrameLength:主節點和作業節點之間傳輸資料最大資料偵,單位:位元組,
(9)WorkerPower:作業節點能力系數,大于1,會連續發送多個任務,
4 部署結構示意
“mastercache”是主節點計算任務的快取,完成即時讓計算節點消費掉,部署結構示意,如下圖:

5 測驗演示
測驗演示,如下圖:

物聯網&大資料技術 QQ群:54256083
物聯網&大資料合作 QQ群:727664080
網站:http://www.ineuos.net
聯系QQ:504547114
合作微信:wxzz0151
官方博客:https://www.cnblogs.com/lsjwq
iNeuOS工業互聯網作業系統 公眾號
轉載請註明出處,本文鏈接:https://www.uj5u.com/net/224998.html
標籤:.NET Core
