我有一個問題，是否可以使用水槽對資料執行 ETL。更具體地說，我在 spoolDir 上配置了包含 CSV 檔案的水槽，我想在將這些檔案存盤到 Hadoop 之前將它們轉換為 Parquet 檔案。可能嗎 ？
如果不可能，您會建議在存盤到 Hadoop 之前轉換它們還是在 Hadoop 上使用 spark 轉換它們？
uj5u.com熱心網友回復：
我可能會建議使用nifi來移動檔案。這是有關如何使用Parquet執行此操作的具體教程。我覺得 nifi 是 Apache Flume 的替代品。
Flume 部分答案：（不是 Parquet）如果您在格式上很靈活，則可以使用 avro 水槽。您可以使用蜂巢水槽，它將創建一個 ORC 格式的表格。（您可以查看它是否也允許在定義中使用鑲木地板，但我聽說 ORC 是唯一受支持的格式。）
您可能會使用一些簡單的腳本來使用 hive 將資料從 Orc 表移動到 Parquet 表。（將檔案轉換為您要求的鑲木地板檔案。）
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/445658.html
創建代碼倉庫 使用gitee舉例（github和gitee差不多） 1.在gitee右上角點擊+，選擇新建倉庫 ? 2.選擇填寫倉庫資訊，然后進行創建 ? 3.服務端已經準備好了，本地開始作準備 （1）Git 全域設定 git config --global user.name "成鈺" git c ......
uj5u.com 2020-09-10 05:04:14 more隨著 ToB（企業服務）的興起和 ToC（消費互聯網）產品進入成熟期，線上故障帶來的損失越來越大，代碼質量越來越重要，而「質量內建」正是 DevOps 核心理念之一。**《DevOps 代碼質量實戰（PHP 版）》**為 CODING DevOps 代碼質量實戰系列的第二課，同時也是本系列的 PHP ......
uj5u.com 2020-09-10 05:07:43 more隨著 ToB（企業服務）的興起和 ToC（消費互聯網）產品進入成熟期，線上故障帶來的損失越來越大，代碼質量越來越重要，而「質量內建」正是 DevOps 核心理念之一。 **《DevOps 代碼質量實戰（Java 版）》**為 CODING DevOps 代碼質量實戰系列的最后一課，同時也是本系列的 ......
uj5u.com 2020-09-10 05:07:52 moreScrum轉型想要做好，第一步先了解并真正落實Scrum，那么我推薦的Scrum書籍是要看懂并實踐的。第二步是團隊的工程實踐要做扎實。 下面推薦工程實踐書單： 重構：改善既有代碼的設計 決議極限編程 : 擁抱變化 代碼整潔代碼 程式員的職業素養 修改代碼的藝術 撰寫可讀代碼的藝術 測驗驅動開發 : ......
uj5u.com 2020-09-10 05:07:55 more前面文章介紹了Jenkins+svn+tomcat實作自動化部署，現在終于有空抽時間出來寫下Jenkins+svn+nginx實作自動部署vue前端專案。 jenkins的安裝和配置已經在前面文章進行介紹，下面介紹實作vue前端專案需要進行的哪些額外的步驟。 注意：在安裝jenkins和nginx的 ......
uj5u.com 2020-09-10 05:08:49 moreCODING DevOps 微服務專案實戰系列第一課**《DevOps 微服務專案實戰：DevOps 初體驗》**將由 CODING DevOps 開發工程師 王寬老師 向大家介紹 DevOps 的基本理念，并探討為什么現代開發活動需要 DevOps，同時將以 eShopOnContainers 項 ......
uj5u.com 2020-09-10 05:09:14 more近年來，工程專案的結構越來越復雜，需要接入合適的持續集成流水線形式，才能滿足更多變的需求，那么如何優雅地使用 CI 能力提升生產效率呢？CODING DevOps 微服務專案實戰系列第二課 《DevOps 微服務專案實戰：CI 進階用法》 將由 CODING DevOps 全堆疊工程師 何晨哲老師 向 ......
uj5u.com 2020-09-10 05:09:33 more隨著軟體工程越來越復雜化，如何在 Kubernetes 集群進行灰度發布成為了生產部署的”必修課“，而如何實作安全可控、自動化的灰度發布也成為了持續部署重點關注的問題。CODING DevOps 微服務專案實戰系列最后一課：**《DevOps 微服務專案實戰：基于 Nginx-ingress 的自動 ......
uj5u.com 2020-09-10 05:10:00 moreCODING 儀表盤功能現已正式推出！該功能旨在用一張張統計卡片的形式，統計并展示使用 CODING 中所產生的資料。這意味著無需額外的設定，就可以收集歸納寶貴的作業資料并予之量化分析。這些海量的資料皆會以圖表或串列的方式躍然紙上，方便團隊成員隨時查看各專案的進度、狀態和指標，云端協作迎來真正意義上 ......
uj5u.com 2020-09-10 05:11:01 more使用git來clone專案有兩種方式：HTTPS和SSH：
HTTPS：不管是誰，拿到url隨便clone，但是在push的時候需要驗證用戶名和密碼；
SSH：clone的專案你必須是擁有者或者管理員，而且需要在clone前添加SSH Key。SSH 在push的時候，是不需要輸入用戶名的，如果配置... ......
使用git來clone專案有兩種方式：HTTPS和SSH：
HTTPS：不管是誰，拿到url隨便clone，但是在push的時候需要驗證用戶名和密碼；
SSH：clone的專案你必須是擁有者或者管理員，而且需要在clone前添加SSH Key。SSH 在push的時候，是不需要輸入用戶名的，如果配置... ......
在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下，數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此，改造和提升傳統農牧業、開拓創新現代智慧農牧業，加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下，企業數字化轉型已經 ......
uj5u.com 2023-04-18 08:05:44 more在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下，數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此，改造和提升傳統農牧業、開拓創新現代智慧農牧業，加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下，企業數字化轉型已經 ......
uj5u.com 2023-04-18 08:00:18 more計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備，用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題，速度接近快取 主存-輔存層次主要解決存盤系統的容量問題，容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......
uj5u.com 2023-04-17 08:20:31 more如今各互聯網公司普通都使用敏捷開發，采用小步快跑的形式來進行專案開發。如果是小專案或者小需求，那一個開發可能就搞定了。但對于電商等復雜的系統，其功能多，結構復雜，一個人肯定是搞不定的，所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例，光是后端開發就有七十多人。 為了更好地開發這類大型系統，往 ......
uj5u.com 2023-04-17 08:18:55 morePRINCE2，即 PRoject IN Controlled Environment（受控環境中的專案）是一種結構化的專案管理方法論，由英國政府內閣商務部（OGC）推出，是英國專案管理標準。
PRINCE2 作為一種開放的方法論，是一套結構化的專案管理流程，描述了如何以一種邏輯性的、有組織的方法，... ......
如今各互聯網公司普通都使用敏捷開發，采用小步快跑的形式來進行專案開發。如果是小專案或者小需求，那一個開發可能就搞定了。但對于電商等復雜的系統，其功能多，結構復雜，一個人肯定是搞不定的，所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例，光是后端開發就有七十多人。 為了更好地開發這類大型系統，往 ......
uj5u.com 2023-04-17 08:18:00 morePRINCE2，即 PRoject IN Controlled Environment（受控環境中的專案）是一種結構化的專案管理方法論，由英國政府內閣商務部（OGC）推出，是英國專案管理標準。
PRINCE2 作為一種開放的方法論，是一套結構化的專案管理流程，描述了如何以一種邏輯性的、有組織的方法，... ......
計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備，用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題，速度接近快取 主存-輔存層次主要解決存盤系統的容量問題，容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......
uj5u.com 2023-04-17 08:12:06 more