目錄
- 1、集群的最主要瓶頸
- 2、Hadoop運行模式
- 3、Hadoop生態圈的組件并做簡要描述
- 4、解釋“hadoop”和“hadoop 生態系統”兩個概念
- 5、請列出正常作業的Hadoop集群中Hadoop都分別需要啟動哪些行程，它們的作用分別是什么?
- 6、基于 Hadoop 生態系統對比傳統資料倉庫有何優勢？
- 7、如何選擇不同的檔案格式存盤和處理資料
- CSV 檔案
- JSON 檔案
- Avro 檔案
- Columnar 格式，例如 RCFile，ORC
- Parquet 檔案
你準備好面試了嗎?這里有一些面試中可能會問到的問題以及相對應的答案，
1、集群的最主要瓶頸
磁盤IO
2、Hadoop運行模式
單機版、偽分布式模式、完全分布式模式
3、Hadoop生態圈的組件并做簡要描述
- Zookeeper：是一個開源的分布式應用程式協調服務,基于zookeeper可以實作同步服務，配置維護，命名服務，
- Flume：一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統， ? Hbase：是一個分布式的、面向列的開源資料庫,利用Hadoop HDFS作為其存盤系統，
- Hive：基于Hadoop的一個資料倉庫工具，可以將結構化的資料檔映射為一張資料庫表，并提供簡單的sql查詢功能，可以將sql陳述句轉換為MapReduce任務進行運行，
- Sqoop：將一個關系型資料庫中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關系型資料庫中，
4、解釋“hadoop”和“hadoop 生態系統”兩個概念
Hadoop是指Hadoop框架本身；hadoop生態系統，不僅包含hadoop，還包括保證hadoop框架正常高效運行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等輔助框架，
?
Hadoop 包括以下內容：
- HDFS(Hadoop Distributed File System，Hadoop 分布式檔案系統)：HDFS 允許你以一種分布式和冗余的方式存盤大量資料，例如，1 GB(即 1024 MB)文本檔案可以拆分為 16 * 128MB 檔案，并存盤在 Hadoop 集群中的 8 個不同節點上，每個分裂可以復制 3 次，以實作容錯，以便如果 1 個節點故障的話，也有備份，HDFS 適用于順序的“一次寫入、多次讀取”的型別訪問，
- MapReduce：一個計算框架，它以分布式和并行的方式處理大量的資料，當你對所有年齡> 18 的用戶在上述 1 GB 檔案上執行查詢時，將會有“8 個映射”函式并行運行，以在其 128 MB 拆分檔案中提取年齡> 18 的用戶，然后“reduce”函式將運行以將所有單獨的輸出組合成單個最終結果，
- YARN(Yet Another Resource Nagotiator，又一資源定位器)：用于作業調度和集群資源管理的框架，
Hadoop 生態系統，擁有 15 多種框架和工具，如 Sqoop，Flume，Kafka，Pig，Hive，Spark，Impala 等，以便將資料攝入 HDFS，在 HDFS 中轉移資料(即變換，豐富，聚合等)，并查詢來自 HDFS 的資料用于商業智能和分析，某些工具(如 Pig 和 Hive)是 MapReduce 上的抽象層，而 Spark 和 Impala 等其他工具則是來自 MapReduce 的改進架構/設計，用于顯著提高的延遲以支持近實時(即 NRT)和實時處理，
5、請列出正常作業的Hadoop集群中Hadoop都分別需要啟動哪些行程，它們的作用分別是什么?
- NameNode：它是hadoop中的主服務器，管理檔案系統名稱空間和對集群中存盤的檔案的訪問，保存有metadate，
- SecondaryNameNode：它不是namenode的冗余守護行程，而是提供周期檢查點和清理任務，幫助NN合并editslog，減少NN啟動時間，
- DataNode：它負責管理連接到節點的存盤（一個集群中可以有多個節點），每個存盤資料的節點運行一個datanode守護行程，
- ResourceManager（JobTracker）：JobTracker負責調度DataNode上的作業，每個DataNode有一個TaskTracker，它們執行實際作業，
- NodeManager：（TaskTracker）執行任務，
- DFSZKFailoverController：高可用時它負責監控NN的狀態，并及時的把狀態資訊寫入ZK，它通過一個獨立執行緒周期性的呼叫NN上的一個特定介面來獲取NN的健康狀態，FC也有選擇誰作為Active NN的權利，因為最多只有兩個節點，目前選擇策略還比較簡單（先到先得，輪換），
- JournalNode：高可用情況下存放namenode的editlog檔案，
6、基于 Hadoop 生態系統對比傳統資料倉庫有何優勢？
傳統資料基礎設施：主要使用存盤在高端和昂貴硬體中的“structured data，結構化資料”主要處理為 ETL 批處理作業，用于將資料提取到 RDBMS 和資料倉庫系統中進行資料挖掘，分析和報告，以進行關鍵業務決策，主要處理以千兆位元組到兆位元組為單位的資料量，
基于 Hadoop 的資料基礎設施：其中結構化(例如 RDBMS)，非結構化(例如 images，PDF，docs )和半結構化(例如 logs，XMLs)的資料可以以可擴展和容錯的方式存盤在較便宜的商品機器中，可以通過批處理作業和近實時(即，NRT，200 毫秒至 2 秒)流(例如 Flume 和 Kafka)來攝取資料，資料可以使用諸如 Spark 和 Impala 之類的工具以低延遲(即低于 100 毫秒)的能力查詢，可以存盤以兆兆位元組到千兆位元組為單位的較大資料量，這使得能夠使用更強大的工具來做出更好的業務決策，這些更強大的工具用于獲取資料，轉移存盤的資料(例如聚合，豐富，變換等)，以及使用低延遲的報告功能和商業智能，
所以有下面幾個優點：
- 擴展更便宜，更高效地并行處理大資料，隨著資料量和復雜性的增加，提高了整體 SLA(即服務水平協議)，例如，“Shared Nothing”架構，并行處理，記憶體密集型處理框架，如 Spark 和 Impala，以及 YARN 容量調度程式中的資源搶占，添加額外的高端硬體容量以及獲取資料倉庫工具的許可證可能會顯著增加成本，基于 Hadoop生態系統不僅在商品硬體節點和開源工具方面更便宜，而且還可以通過將資料轉換卸載到 Hadoop 工具(如 Spark 和 Impala)來補足資料倉庫解決方案，從而更高效地并行處理大資料，這也將釋放資料倉庫資源，
- 探索新的渠道和線索，Hadoop 可以為資料科學家提供探索性的沙盒，以從社交媒體，日志檔案，電子郵件等地方發現潛在的有價值的資料，這些資料通常在傳統資料倉庫中不可得，
- 更好的靈活性，通常業務需求的改變，也需要對架構和報告進行更改，基于 Hadoop 的解決方案不僅可以靈活地處理不斷發展的模式，還可以處理來自不同來源，如社交媒體，應用程式日志檔案，image，PDF 和檔案檔案的半結構化和非結構化資料，
7、如何選擇不同的檔案格式存盤和處理資料
選擇何種檔案格式的關鍵之一是基于以下方面：
- 使用模式，例如訪問 50 列中的 5 列，而不是訪問大多數列
- 可并行處理的可分裂性
- 塊壓縮節省存盤空間 vs 讀/寫/傳輸性能模式演化以添加欄位
- 修改欄位和重命名欄位
CSV 檔案
CSV 檔案通常用于在 Hadoop 和外部系統之間交換資料，CSV 是可讀和可決議的， CSV 可以方便地用于從資料庫到 Hadoop 或到分析資料庫的批量加載，在 Hadoop 中使用 CSV 檔案時，不包括頁眉或頁腳行，檔案的每一行都應包含記錄，CSV 檔案對模式評估的支持是有限的，因為新欄位只能附加到記錄的結尾，并且現有欄位不能受到限制，CSV 檔案不支持塊壓縮，因此壓縮 CSV 檔案會有明顯的讀取性能成本，
JSON 檔案
JSON 記錄與 JSON 檔案不同;每一行都是其 JSON 記錄，由于 JSON 將模式和資料一起存盤在每個記錄中，因此它能夠實作完整的模式演進和可拆分性，此外，JSON 檔案不支持塊級壓縮，
序列檔案
序列檔案以與 CSV 檔案類似的結構用二進制格式存盤資料，像 CSV 一樣，序列檔案不存盤元資料，因此只有模式進化才將新欄位附加到記錄的末尾，與 CSV 檔案不同，序列檔案確實支持塊壓縮，序列檔案也是可拆分的，序列檔案可以用于解決“小檔案問題”，方式是通過組合較小的通過存盤檔案名作為鍵和檔案內容作為值的 XML 檔案，由于讀取序列檔案的復雜性，它們更適合用于在飛行中的(即中間的)資料存盤，
注意：序列檔案是以 Java 為中心的，不能跨平臺使用，
Avro 檔案
適合于有模式的長期存盤，Avro 檔案存盤具有資料的元資料，但也允許指定用于讀取檔案的獨立模式，啟用完全的模式進化支持，允許你通過定義新的獨立模式重命名、添加和洗掉欄位以及更改欄位的資料型別，Avro 檔案以 JSON 格式定義模式，資料將采用二進制 JSON 格式，Avro 檔案也是可拆分的，并支持塊壓縮，更適合需要行級訪問的使用模式，這意味著查詢該行中的所有列，不適用于行有 50+ 列，但使用模式只需要訪問 10 個或更少的列，Parquet 檔案格式更適合這個列訪問使用模式，
Columnar 格式，例如 RCFile，ORC
RDBM 以面向行的方式存盤記錄，因為這對于需要在獲取許多列的記錄的情況下是高效的，如果在向磁盤寫入記錄時已知所有列值，則面向行的寫也是有效的，但是這種方法不能有效地獲取行中的僅 10% 的列或者在寫入時所有列值都不知道的情況，這是 Columnar 檔案更有意義的地方，所以Columnar 格式在以下情況下作業良好：
- 在不屬于查詢的列上跳過 I / O 和解壓縮
- 用于僅訪問列的一小部分的查詢，
- 用于資料倉庫型應用程式，其中用戶想要在大量記錄上聚合某些列，
- RC 和 ORC 格式是專門用 Hive 寫的而不是通用作為 Parquet，
Parquet 檔案
Parquet 檔案是一個 columnar 檔案，如 RC 和 ORC，Parquet 檔案支持塊壓縮并針對查詢性能進行了優化，可以從 50 多個列記錄中選擇 10 個或更少的列，Parquet 檔案寫入性能比非 columnar 檔案格式慢，Parquet 通過允許在最后添加新列，還支持有限的模式演變，Parquet 可以使用 Avro API 和 Avro 架構進行讀寫，
總之，相對于其他，你應該會更喜歡序列，Avro 和 Parquet 檔案格式;序列檔案用于原始和中間存盤，Avro 和 Parquet 檔案用于處理，
本文來自博客園，作者：張飛的豬，轉載請注明原文鏈接：https://www.cnblogs.com/the-pig-of-zf/p/17300348.html
公眾號：張飛的豬大資料分享，不定期分享大資料學習的總結和相關資料，歡迎關注，
個人網站"張飛的豬編程作業室"鏈接: https://zhangfeidezhu.com
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/549595.html
標籤：其他