主頁 > 資料庫 > 快速上手kettle(一)壺之簡介

快速上手kettle(一)壺之簡介

2023-05-26 13:57:31 資料庫

一、前言

最近由于作業需要,需要用到kettle工具進行資料遷移轉換,特意找資料學習了一下,kettle基本操作算是學會了,

所學的也結合實際作業進行了驗證,為了防止以后用到忘記了,便寫了幾篇文章記錄一下,

快速上手kettle

二 、ETL簡介

ETL ( Extract-Transform-Load的縮寫,即資料抽取、轉換、裝載的程序) ,在企業種我們經常會遇到各種資料的處理,轉換,遷移,所以了解并掌握一種etl工具的使用,對開發人員來說必不可少,這里我要學習的ETL工具是Kettle ! ,

三、Kettle 簡介

3.1 kettle是什么?

Kettle 是一款國外的開源ETL工具,純java撰寫,可以在Windows、Linux、Unix上運行,綠色無需安裝,資料抽取高效穩定,

顧名思義,Kettle 翻譯為中文是水壺,寓意著把所有亂七八糟的資料放到一個壺里,最終以一種指定格式流出

水壺

3.2 kettle兩種設計

kettle兩種設計

轉換和作業

  • Kettle中有兩種腳本檔案,transformationjobtransformation完成資料基本轉換,job完成整個作業流程的控制
  • 轉換是資料流,作業是步驟流
  • 作業的每一個步驟,必須等待前面的步驟執行完,后面的步驟才會執行,
  • 轉換會一次性把所有控制元件都啟動(一個控制元件對應一個執行緒)
  • 資料流會從第一個控制元件開始,一條記錄一條記錄的流向最后控制元件

3.3 kettle核心組件

外國人起名字挺有意思的,kettle的核心組件就是一套烹飪廚具,kettle的作者應該是一位吃貨 (●'?'●)

kettle核心組件

3.4 kettle 優點

kettle 優點

四、Kettle安裝

4.1 下載地址

① 官網地址

https://community.hitachivantara.com/docs/DOC-1009855

官網地址國內下載可能很慢很慢,小伙伴們可以通過以下國內鏡像地址下載

②國內鏡像地址
http://mirror.bit.edu.cn/pentaho/Pentaho 8.2/client-tools/

4.2 kettle目錄及檔案介紹

目錄結構
image-20230525221340766

4.3 kettle 安裝

Kettle是java開發的,所以需要安裝jdk,我們這里安裝經典的jdk8

至于jdk怎么安裝,這里就不細說了,如果不知道的小伙伴百度即可

jdk安裝完成后,我們將4.1 下載的安裝包解壓到自己想放置的路徑即可

4.4 kettle界面介紹

雙擊Spoon.bat 即可打開如下界面

首頁

轉換組件

作業組件

本期內容到此就結束了 (●'?'●)

下一篇:快速上手kettle(二):kettle初體驗(小編正在玩命更新中)

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/553472.html

標籤:大數據

上一篇:萬字長文詳述ClickHouse在京喜達實時資料的探索與實踐

下一篇:返回列表

標籤雲
其他(159749) Python(38169) JavaScript(25456) Java(18129) C(15231) 區塊鏈(8268) C#(7972) AI(7469) 爪哇(7425) MySQL(7211) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5341) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4576) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1976) 功能(1967) Web開發(1951) HtmlCss(1948) C++(1922) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1878) .NETCore(1861) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 快速上手kettle(一)壺之簡介

    ### 一、前言 最近由于作業需要,需要用到kettle工具進行資料遷移轉換。特意找資料學習了一下,kettle基本操作算是學會了。 所學的也結合實際作業進行了驗證。為了防止以后用到忘記了,便寫了幾篇文章記錄一下。 ![快速上手kettle](https://img2023.cnblogs.com/ ......

    uj5u.com 2023-05-26 13:57:31 more
  • 萬字長文詳述ClickHouse在京喜達實時資料的探索與實踐

    在引入ClickHouse程序中經歷各種困難,耗費大量精力去探索并一一解決,在這里記錄一下希望能夠給沒有接觸過ClickHouse的同學提供一些方向上的指引避免多走彎路,如果文中有錯誤也希望多包含給出指點,歡迎大家一起討論ClickHouse相關的話題。本文偏長但全是干貨,請預留40~60分鐘進行閱... ......

    uj5u.com 2023-05-25 14:13:13 more
  • 百度云原生資料庫GaiaDB的HTAP與多地多活技術實踐

    云原生資料庫在使用存算分離技術后,可以在完全兼容MYSQL協議和語法的情況下,極大提升單實體所能承載的資料規模與吞吐能力上限。但除了對客戶端兼容外,對整個資料生態(地域容災,資料分析,備份恢復)的適配同樣需要大量的設計優化作業。本次分享GaiaDB在跨地域/異構資料同步場景下,吞吐/實時性/一致性方... ......

    uj5u.com 2023-05-25 14:12:53 more
  • SQL Server:分頁查詢

    ## 一、分頁查詢 ? 需求描述:客戶端查詢資料庫資料并顯示在表格中。在資料庫中進行一次查詢,查詢結果有1050條記錄,但表格row上限: 100,這時需要給本次查詢記錄分配 `?` 頁用來顯示? 可以通過固定公式進行計算(c偽代碼): ```c # define TABLE_SHOW_ROW 10 ......

    uj5u.com 2023-05-25 14:12:18 more
  • 萬字長文詳述ClickHouse在京喜達實時資料的探索與實踐

    在引入ClickHouse程序中經歷各種困難,耗費大量精力去探索并一一解決,在這里記錄一下希望能夠給沒有接觸過ClickHouse的同學提供一些方向上的指引避免多走彎路,如果文中有錯誤也希望多包含給出指點,歡迎大家一起討論ClickHouse相關的話題。本文偏長但全是干貨,請預留40~60分鐘進行閱... ......

    uj5u.com 2023-05-25 14:11:41 more
  • 百度云原生資料庫GaiaDB的HTAP與多地多活技術實踐

    云原生資料庫在使用存算分離技術后,可以在完全兼容MYSQL協議和語法的情況下,極大提升單實體所能承載的資料規模與吞吐能力上限。但除了對客戶端兼容外,對整個資料生態(地域容災,資料分析,備份恢復)的適配同樣需要大量的設計優化作業。本次分享GaiaDB在跨地域/異構資料同步場景下,吞吐/實時性/一致性方... ......

    uj5u.com 2023-05-25 14:11:20 more
  • es筆記六之聚合操作之指標聚合

    > 本文首發于公眾號:Hunter后端 > 原文鏈接:[es筆記六之聚合操作之指標聚合](https://mp.weixin.qq.com/s/UyiZ2bzFxi7zCGmL1Xf3CQ) 聚合操作,在 es 中的聚合可以分為大概四種聚合: * bucketing(桶聚合) * mertic(指標 ......

    uj5u.com 2023-05-25 10:38:29 more
  • 與世界分享我剛編的mysql http隧道工具-hersql原理與使用

    原文地址:[https://blog.fanscore.cn/a/53/](https://blog.fanscore.cn/a/53/) # 1. 前言 本文是[與世界分享我剛編的轉發ntunnel_mysql.php的工具](https://blog.fanscore.cn/a/47/)的后續, ......

    uj5u.com 2023-05-25 10:20:04 more
  • 01_MySQL基礎架構

    01_MySQL基礎架構 MySQL 45 講Note: 課程專欄名稱:《MySQL實戰45講》課程 筆記參考:MYSQL45 講 01_基礎架構:一條SQL查詢陳述句是如何執行的? 一條SQL查詢是如何執行的 先看一下下面這個圖 ?? 我們首先理解一下 Mysql 的基礎架構,理解如果執行一條簡單的 ......

    uj5u.com 2023-05-25 09:59:24 more
  • 150萬學術名詞中英對照字典ACCESS資料庫

    今天這個資料是一款字典的型別的軟體,專門用來查詢一些學術上面的名詞的中英對照,超過180個學科分類,150多萬條記錄,伴隨您悠游于學海之中,是您做學問、寫論文的好幫手。 主要科目有:電子計算機名詞(107213)、電機工程名詞(100395)、電力工程(68379)、外國地名譯名(64487)、機械 ......

    uj5u.com 2023-05-25 09:45:21 more