技術面試題
1.Hadoop中有哪些組件？
Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+…
1).HDFS:分布式檔案存盤系統
- 主：namenode,secondarynamenode
- 從：datanode
2).Yarn:分布式資源管理系統，用于同一管理集群中的資源（記憶體等）
- 主：ResourceManager
- 從：NodeManager
3).MapReduce:Hadoop的計算框架，用map和reduce方式實作資料的全域匯總
4).Zookeeper：分布式協調服務，用于維護集群配置的一致性、任務提交的事物性、集群中服務的地址管理、集群管理等
- 主：QuorumPeerMain
- 從：QuorumPeerMain
5).Hbase:Hadoop下的分布式資料庫，類似于NoSQL
- 主：HMaster,HRegionserver,Region
7).Hive:分布式資料倉庫，其實說白了就是一個資料分析工具，底層用的還是MapReduce
8).Sqoop:用于將傳統資料庫中資料匯入到hbase或者Hdfs中一個匯入工具
9).Spark:基于記憶體的分布式處理框架
- 主：Master
- 從：Worker
2.Hdfs中角色有哪些？
- NameNode：管理元資料資訊，給子節點分配任務（FSImage是主節點啟動時對整個檔案系統的快照，Edits是修改記錄）
- DataNode：負責資料存盤，實時上報心跳給主節點
- SecondaryNameNode：
1）首先，它定時到NameNode去獲取edit logs，并更新到fsimage上，一旦它有了新的fsimage檔案，它將其拷貝回NameNode中，
2） NameNode在下次重啟時會使用這個新的fsimage檔案，從而減少重啟的時間，
3.Hdfs和Yarn有什么區別？
1）Hdfs是分布式檔案存盤系統，是用來存盤檔案的；
2）Yarn是一個資源管理系統，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和 資料共享等方面帶來了巨大好處
4.MapReduce的shuffle程序？
從Map產生輸出開始到Reduce取得資料作為輸入之前的程序稱作shuffle，
1).Collect階段：將MapTask的結果輸出到默認大小為100M的環形緩沖區，保存的是key/value，Partition磁區資訊等，
2).Spill階段：當記憶體中的資料量達到一定的閥值的時候，就會將資料寫入本地磁盤，在將資料寫入磁盤之前需要對資料 進行一次排序的操作，如果配置了combiner，還會將有相同磁區號和key的資料進行排序，
3).Merge階段：把所有溢位的臨時檔案進行一次合并操作，以確保一個MapTask最終只產生一個中間資料檔案，
4).Copy階段：ReduceTask啟動Fetcher執行緒到已經完成MapTask的節點上復制一份屬于自己的資料，這些資料默認會 保存在記憶體的緩沖區中，當記憶體的緩沖區達到一定的閥值的時候，就會將資料寫到磁盤之上，
5).Merge階段：在ReduceTask遠程復制資料的同時，會在后臺開啟兩個執行緒對記憶體到本地的資料檔案進行合并操作，
6).Sort階段：在對資料進行合并的同時，會進行排序操作，由于MapTask階段已經對資料進行了區域的排序， ReduceTask只需保證Copy的資料的最終整體有效性即可，
5.MapReduce的Partition和Combine有什么區別？
- combine分為map端和reduce端，作用是把同一個key的鍵值對合并在一起，可以自定義,該類的主要功能是合并相同的key鍵
- partition是分割map每個節點的結果，按照key分別映射給不同的reduce，也是可以自定義的,partition的作用就是把這些資料歸類
6.Hadoop的高可用模式說一下？
7.Zookeeper在Hadoop中的作用？
1)Zookeepe主要用來解決分布式應用中經常遇到的資料管理問題，如集群管理、統一命名服務、分布式配置管理、 分布式訊息佇列、分布式鎖、分布式協調等，
2)Zookeeper是一個由多個server組成的集群，一個leader，多個follower，每個server保存一份資料副本，全域資料 一致、分布式讀寫，更新請求轉發，由leader實施，
8.Sqoop的底層原理？
是用來實作結構型資料（如關系資料庫）和Hadoop之間進行資料遷移的工具，它充分利用了MapReduce的并行特點以批處理的方式加快資料的傳輸，同時也借助MapReduce實作了容錯
9.Sqoop是怎么連接的關系型資料庫？
sqoop import-all-tables –connect jdbc:mysql://192.168.52.110/hivemetadb --username root -password root
10.Java中抽象類怎么理解？
抽象類不能實體化，繼承的關鍵字仍然是extends，而且繼承過后可以不覆寫方法，只是使用繼承而來的方法
A:抽象類和抽象方法必須用abstract關鍵字修飾；
B:抽象類中不一定有抽象方法，但是有抽象方法的類必須定義為抽象類；
C:抽象類不能直接實體化；(可以通過子類（重寫方法后的子類）的多型方式實體化)；
- 它不是具體的；
- 抽象類有構造方法，用于子類訪問父類資料的初始化；
D:抽象類的子類；
- 如果不想重寫抽象方法，該子類必須是抽象類；
- 成為具體類則必須重寫所有的抽象方法；
由于篇幅有限，只展示了一部分，需要完整版的朋友可以點一點下方鏈接免費領取！
鏈接：1103806531暗號：CSDN
專案面試題
1.大概介紹一下專案；
2.hbase表你們是怎么存資料的？一天資料量是多少？這么多資料你們都存hbase里嗎？一開始就是個檔案，hbase是表結構，那你是怎么去獲取資料然后給存成表結構的？
3.假如現在我要查詢每個月的每個片區里訂單成交量最高的那個司機ID，你怎么實作？
4.hive怎么讀取資料的？我要只存里邊我需要的資料，你給我想下怎么優化？
5.你都用過哪些ETL工具？怎么用的？就像flume是怎么獲取資料的，你怎么配置的？那kafka怎么讀取資料的？hive是直接從kafka里獲取資料嗎？
6.你建過外表嗎？怎么建的？為什么要建外表？
7.你會寫shell嗎？寫過哪些？
8.你應該也經常用linux命令吧，都用過哪些？我現在要查所有后綴是.txt的檔案名，怎么查？grep用過嗎？
9.我現在不想查司機，我想查訂單，怎么去設計hbase表？
總結
我這邊也整理了一份 架構師全套視頻教程 和關于java的系統化資料，包括java核心知識點、面試專題和20年最新的互聯網真題、電子書等都有，有需要的朋友可以點一點下方鏈接免費領取！
鏈接：1103806531暗號：CSDN
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/142160.html
標籤：其他
下一篇：谷歌：明年開始對應用內購買抽取 30% 分成；釘釘創始人無招將離任；Java O2OA V5.2.0 發布|極客頭條