簡單記錄一下springboot參考kettle對接資料
第一步（這一步講述了下載kettle、創建資料庫連接、轉換等，如果這一步會的可以略過，直接看第二步）
先從kettle官網下載kettle，官網地址：https://sourceforge.net/projects/pentaho/
進入官網后點擊files，選擇需要的版本進行下載
下載完成后是一個壓縮包，免安裝的，選擇一個路徑，將壓縮包解壓，解壓后進入到data-integration目錄，該目錄下有一個Spoon.bat檔案，雙擊即可運行
打開后界面是這樣的
然后選擇依次點擊檔案->新建->轉換就可以編輯對接資料的邏輯了
在編輯對接程式之前，是需要先設定一下資料庫資訊的，在這里說明一下，新解壓的kettle沒有oracle的驅動，需要手動的下載一個ojdbc的jar包放到\data-integration\lib目錄下，否則測驗連接的時候會報錯（以oracle的為例，如果是其他資料庫請忽略這一步，直接看下邊）
放好以后，需要關掉kettle重啟一下才行，我這里放的是ojdbc7，至于其他型別的資料庫我還沒有測驗，不知道是不是也會出現這種情況，如果也出現這種情況的話，就下載一個相對應的驅動，放到data-integration\lib目錄下就行
接下來就是在新建的轉換當中選擇工具->向導->創建資料庫連接向導（這一步可以將要讀取的資料庫和要寫入的資料庫都配置好，這樣在撰寫對接邏輯的時候就不用在回傳來重做這一步了）
根據向導，選擇要讀取的資料庫或者寫入的資料庫型別，給連接起個名字，點擊next
然后是配置資料庫資訊，服務器主機名稱就是ip地址，tcp/ip埠就是資料庫的埠，例如oracle的就是1521，資料庫名稱就是資料庫的連接符，例如oracle的orcl，填好后繼續點擊next
然后會出現讓選擇資料表空間和索引表空間的步驟，這一步可以選擇不填，繼續點擊next，就到了最后一步，在這里填入資料庫的賬號密碼，點擊測驗資料庫連接
如果創建好資料庫連接，想要全域使用的話，還得有一步設定，如果不設定的話，每新建一個轉換，就得重復的創建資料庫連接
創建好資料庫連接后依次點擊左側視窗的主物件樹->轉換->test(新創建的轉換)->DB連接，然后右鍵創建好的資料庫連接，點擊共享即可
編輯好資料庫后，接下來就是編輯對接邏輯了，這里就先簡單的寫個步驟，復雜的需要自己慢慢體會
首先在視窗的左側核心物件下，從輸入標簽中找到表輸入，雙擊或者拖拽都行，拖拽的話是往右側轉換里拖拽，這個表輸入就是要讀取的資料，然后關閉輸入標簽，或者向下滑動，找到輸出標簽，從輸出標簽中找到插入/更新，同樣以雙擊或拖拽的方式加入到轉換里，這個是要寫入的資料，然后按住shift鍵，先點擊表輸入，再點擊插入/更新，這樣這個節點就創建好了
創建好節點連接后，就需要編輯表輸入和插入/更新了，表輸入就是要讀取的資料，插入/更新就是要寫入的資料，雙擊表輸入
雙擊更新/插入
當這兩個編輯好后，保存一下，就會生成一個ktr檔案，
至此，在可視化界面中創建ktr檔案的步驟就完成了
第二步，將生成的ktr檔案集成到springboot里面
首先需要注意的是，相關依賴一定要參考全了，不然運行時會出現很多例外，我就是這樣，公司同時給的代碼，在他那里可以運行，到我這里以后就各種例外往外報，耗費一天的時間，終于可以進行資料對接了，下面記錄一下需要引入的依賴
<!--kettle相關依賴--> <dependency> <groupId>pentaho-kettle</groupId> <artifactId>kettle-core</artifactId> <version>9.0.0.3-582</version> </dependency> <dependency> <groupId>pentaho-kettle</groupId> <artifactId>kettle-engine</artifactId> <version>9.0.0.3-582</version> </dependency> <dependency> <groupId>pentaho-kettle</groupId> <artifactId>kettle-dbdialog</artifactId> <version>9.0.0.3-582</version> </dependency> <!--以上三個是最主要的依賴，相關jar包可以從kettle官網下載的下來的工具里面找，
具體路徑是：\kettle\data-integration\lib\下面，版本就對應上下載的工具版本就行,
下面的是其他一些相關參考
--> <dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>29.0-jre</version> </dependency> <dependency> <groupId>pentaho</groupId> <artifactId>metastore</artifactId> <version>9.1.0.6-517</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-vfs2</artifactId> <version>2.9.0</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang</artifactId> <version>2.6</version> </dependency> <dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.5</version> </dependency> <dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId> <version>1.9</version> </dependency> <!--kettle相關依賴-->
至于對接的代碼就比較簡單了，網上到處都有，這里我也記錄一下吧
try { //初始化kettle
//如果初始化失敗，當加載完ktr檔案后，會報database type with plugin id [Oracle] couldn't be found! KettleEnvironment.init(); } catch (KettleException e1) { e1.printStackTrace(); }try { //加載kettle的ktr檔案 String url=this.getClass().getClassLoader().getResource("test.ktr").getPath(); System.out.println("########################"+url); TransMeta transMeta = new TransMeta(url); transMeta.setLogLevel(LogLevel.DEBUG); Trans trans = new Trans(transMeta); trans.prepareExecution(null); trans.startThreads(); trans.waitUntilFinished(); } catch (Exception e) { // TODO: handle exception e.printStackTrace(); }
總結：其實kettle集成到springboot里面沒有多少代碼，這個功能最主要的還是ktr檔案的撰寫，只要ktr撰寫好了，放到指定檔案夾下，寫個定時任務就完事了，如果以上內容有什么不對的地方，還望各路大神指出，我加以修正
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/539611.html
標籤：其他
上一篇：python基礎-模塊和包
下一篇：進位制數的靈活運用