本篇文章主要介紹作業池中是如何進行流處理的，最常見的場景就是在物聯網平臺中，將感知層收集的資料，上傳到訊息佇列服務器中，然后服務層通過使用相應的客戶端去接收資料，最后將資料進行處理，保存入庫，最終通過app，小程式，web等方式展示結果，最核心的流程就是如何去接收訊息中間件的資料，接收之后又是如何高效的處理資料呢？如果有這樣的一個平臺，既能通過快速的配置接入中間件，又能對資料進行轉換處理，持久化處理（資料庫，es，hbase），就能完美的解決物聯網的資料問題，這樣一個復雜的物聯網專案就轉化為一個普通的互聯網專案，只需要對資料進行展示即可，本章就以mqtt協議為例，充分展示kettle平臺的流處理能力，
一，準備作業
mqtt服務器搭建，可參考https://www.emqx.com/zh
安裝成功后，如下圖：
mqtt生產者發送資料：
撰寫生產者：轉換檔案撰寫如下
啟動生產者，連接mqtt服務器，如下：
二，kettle工具pdi訂閱mqtt資料
mqtt訂閱topic，接收資料
通過子轉換，處理流資料，將接收到的資料，呼叫遙測資料rest介面，進行處理，
三，kettle平臺處理mqtt資料
上傳到基于kettle的資料處理平臺，并啟動生產者與消費者
遙測資料rest介面：
流資料處理日志：
四，總結
本篇文章主要介紹kettle平臺是如何處理流資料，當然不僅僅限于mqtt，還支持kafka，rabbit，socket，websocket等形式，
若有什么疑問，可加qq893393953，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/291570.html
標籤：其他
上一篇：實作微信小程式和手機app遠程控制51單片機控制L298N電機驅動器控制馬達（ESP8266 AT89S52 http請求轉串口通信系統）
下一篇：BIM仿真軟體