FT是一個非常高效的ETL工具，相比熟知的KETTLE，他的優點在于：
- 內置fdload，實作秒級千萬級別資料傳輸（全量愛好者狂笑）
- 有資料管道的服務，可以實作批量建表、抽取，及CDC增量抽取
后面我會單獨再寫一篇FT(ETL工具）、FD（GP）的騷操作，讓我們見證強大與高效
gpload的本質還是外部表加載，速度這么快，肯定是要一次性把資料填入到記憶體，再讀取的，
因此不可以同時執行太多gpload的任務，同時執行時：要保證
- 記憶體給夠（自行百度jdk1.8記憶體修改）
- 單個任務的單次加載行數不要太大
- 同時執行的任務要限制
- 保證“真”串行，避免假串行
1. 記憶體
在FT服務器（linux）上，到FT安裝目錄
# cd /opt/FineTube
# vi ./FineTube.vmoptions
按 i 輸入，將
-XX:-OmitStackTraceInFastThrow
換成
-Xms4096m
-Xmx8192m
注意：這個檔案按行讀取，所以不要寫在一行
2. 單次加載行數
在FT中，
其中，修改臨時檔案條數限制即可實作
3. 同時執行的任務&真串行
在FT中，我們可以使用“執行任務”組件封裝任務，例如：
在“執行的任務”處可以選擇封裝的任務，在此處選擇的將并行執行，
勾選“等待任務完成”，可以實作真正串行：即執行完第一個“執行任務”組件才執行下一個，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/303491.html
標籤：其他