Hadoop簡介安裝
狹義上Hadoop指的是Apache軟體基金會的一款開源軟體用java語言實作，開源允許用戶使用簡單的編程模型實作跨機器集群對海量資料進行分布式計算處理
Hadoop核心組件
- Hadoop HDFS（分布式檔案存盤系統）：解決海量資料存盤
- Hadoop YARN（集群資源管理和任務調度框架）：解決資源任務調度****
- Hadoop MapReduce（分布式計算框架）：解決海量資料計算
Hadoop之父：Doug Cutting
遇到瓶頸：如何解決數十億網頁的存盤和索引問題
源自Google三篇論文
Hadoop集群包括兩個集群：
兩個集群邏輯上分離、通常物理上在一起
兩個集群都是標準的主從架構集群
- HDFS集群
- YARN集群
首次啟動HDFS時，必須對其進行格式化操作，
format本質上是初始化作業，進行HDFS清理和準備作業
命令：
hdfs namenode -format
每臺機器上每次手動啟動關閉一個角色行程,可以精準控制每個行程啟停，避免群起群停，
- HDFS集群
hadoop3.x版本命令
hdfs --daemon start|stop namenode|datanode|secondarynamenode
- YARN集群
hadoop3.x版本命令
yarn --daemon start|stop resourcemanager|nodemanager
shell腳本一鍵啟停
在node1上，使用軟體自帶的shell腳本一鍵啟動，前提：配置好機器之間的SSH免密登錄和
workers檔案，
- HDFS集群
start-dfs.sh
stop-dfs.sh
- YARN集群
start-yarn.sh
stop-yarn.sh
- Hadoop集群
start-all.sh
stop-all.sh
啟動完畢之后可以使用jps命令查看行程是否啟動成功
web界面：
- HDFS集群：http://namenode_host:9870
- YARN集群：http://resourcemanager_host:8088
HDFS shell命令：
HDFS Shell CLI支持操作多種檔案系統，包括本地檔案系統（file:///）、分布式檔案系統（hdfs://nn:8020）等
具體操作的是什么檔案系統取決于命令中檔案路徑URL中的前綴協議，
如果沒有指定前綴，則將會讀取環境變數中的fs.defaultFS屬性，以該屬性值作為默認檔案系統，
hadoop fs -ls file:/// #操作本地檔案系統
hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布式檔案系統
hadoop fs -ls / #直接根目錄，沒有指定協議 將加載讀取fs.defaultFS值
hadoop fs -mkdir [-p] <path> ...
path 為待創建的目錄
-p選項的行為與Unix mkdir -p非常相似，它會沿著路徑創建父目錄，
hadoop fs -ls [-h] [-R] [<path> ...]
path 指定目錄路徑
-h 人性化顯示檔案size
-R 遞回查看指定目錄及其子目錄
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
-f 覆寫目標檔案（已存在下）
-p 保留訪問和修改時間，所有權和權限，
localsrc 本地檔案系統（客戶端所在機器）
dst 目標檔案系統（HDFS）
hadoop fs -cat <src> ...
hadoop fs -get [-f] [-p] <src> ... <localdst>
下載檔案到本地檔案系統指定目錄，localdst必須是目錄
-f 覆寫目標檔案（已存在下）
-p 保留訪問和修改時間，所有權和權限
hadoop fs -cp [-f] <src> ... <dst>
-f 覆寫目標檔案（已存在下）
hadoop fs -appendToFile <localsrc> ... <dst>
將所有給定本地檔案的內容追加到給定dst檔案，
dst如果檔案不存在，將創建該檔案，
如果<localSrc>為-，則輸入為從標準輸入中讀取，
hadoop fs -mv <src> ... <dst>
移動檔案到指定檔案夾下
可以使用該命令移動資料，重命名檔案的名稱
HDFS
檔案系統與分布式檔案系統，HDFS簡介，HDFS重要特性等
HDFS簡介
HDFS主要是解決大資料如何存盤問題的，分布式意味著是HDFS是橫跨在多臺計算機上的存盤系統，
HDFS是一種能夠在普通硬體上運行的分布式檔案系統，它是高度容錯的，適應于具有大資料集的應用程式，它非
常適于存盤大型資料 (比如 TB 和 PB)，
HDFS使用多臺計算機存盤檔案, 并且提供統一的訪問介面, 像是訪問一個普通檔案系統一樣使用分布式檔案系統
整體概述
- 主從架構
HDFS集群是標準的master/slave主從架構集群，
一般一個HDFS集群是有一個Namenode和一定數目的Datanode組成，
Namenode是HDFS主節點，Datanode是HDFS從節點，兩種角色各司其職，共同協調完成分布式的檔案存盤服
務，
官方架構圖中是一主五從模式，其中五個從角色位于兩個機架（Rack）的不同服務器上，
- 分塊存盤
HDFS中的檔案在物理上是分塊存盤（block）的，默認大小是128M（134217728），不足128M則本身就是一塊
塊的大小可以通過配置引數來規定，引數位于hdfs-default.xml中：dfs.blocksize，
- 副本機制
檔案的所有block都會有副本，副本系數可以在檔案創建的時候指定，也可以在之后通過命令改變
副本數由引數dfs.replication控制，默認值是3，也就是會額外再復制2份，連同本身總共3份副本
- 元資料記錄
在HDFS中，Namenode管理的元資料具有兩種型別：
- 檔案自身屬性資訊
檔案名稱、權限，修改時間，檔案大小，復制因子，資料塊大小，- 檔案塊位置映射資訊
記錄檔案塊和DataNode之間的映射資訊，即哪個塊位于哪個節點上，
- 抽象統一的目錄樹結構（namespace）
HDFS集群角色與職責
namenode職責
- NameNode僅存盤HDFS的元資料：檔案系統中所有檔案的目錄樹，并跟蹤整個集群中的檔案，不存盤實際資料，
- NameNode知道HDFS中任何給定檔案的塊串列及其位置，使用此資訊NameNode知道如何從塊中構建檔案，
- NameNode不持久化存盤每個檔案中各個塊所在的datanode的位置資訊，這些資訊會在系統啟動時從DataNode
- 重建，
- NameNode是Hadoop集群中的單點故障，
- NameNode所在機器通常會配置有大量記憶體（RAM），
datanode職責
- DataNode負責最終資料塊block的存盤，是集群的從角色，也稱為Slave，
- DataNode啟動時，會將自己注冊到NameNode并匯報自己負責持有的塊串列，
- 當某個DataNode關閉時，不會影響資料的可用性， NameNode將安排由其他DataNode管理的塊進行副本復制
- DataNode所在機器通常配置有大量的硬碟空間，因為實際資料存盤在DataNode中，
寫資料完整流程：
- 通過pipeline管道客戶端將資料塊寫入第一個資料節點，第一個資料節點保存資料之后再將塊復制到第二個資料節點，后者保存后將
其復制到第三個資料節點，使用反方向ack校驗，默認3副本策略，
YARN
YARN功能說明
- 資源管理系統：集群的硬體資源，和程式運行相關，比如記憶體、CPU等，
- 調度平臺：多個程式同時申請計算資源如何分配，調度的規則（演算法），
- 通用：不僅僅支持MapReduce程式，理論上支持各種計算程式，YARN不關心你干什么，只關心你要資源，在有的情況下給你，用完之后還我，
YARN概述
- 可以把Hadoop YARN理解為相當于一個分布式的作業系統平臺，而MapReduce等計算程式則相當于運行于作業系統之上的應用程式，YARN為這些程式提供運算所需的資源（記憶體、CPU等），
- Hadoop能有今天這個地位，YARN可以說是功不可沒，因為有了YARN ，更多計算框架可以接入到 HDFS中，而不單單是 MapReduce，正是因為YARN的包容，使得其他計算框架能專注于計算性能的提升，
- HDFS可能不是最優秀的大資料存盤系統，但卻是應用最廣泛的大資料存盤系統， YARN功不可沒
YARN3大組件
- ResourceManager（RM）
YARN集群中的主角色，決定系統中所有應用程式之間資源分配的最終權限，即最終仲裁者，
接收用戶的作業提交，并通過NM分配、管理各個機器上的計算資源，
- NodeManager（NM）
YARN中的從角色，一臺機器上一個，負責管理本機器上的計算資源，
根據RM命令，啟動Container容器、監視容器的資源使用情況，并且向RM主角色匯報資源使用情況，
- ApplicationMaster（AM）
用戶提交的每個應用程式均包含一個AM，
應用程式內的“老大”，負責程式內部各階段的資源申請，監督程式的執行情況
核心互動流程
- MR作業提交 Client-->RM
- 資源的申請 MrAppMaster-->RM
- MR作業狀態匯報 Container（Map|Reduce Task）-->Container（MrAppMaster）
- 節點的狀態匯報 NM-->RM
YARN資源調度器Scheduler
在理想情況下，應用程式提出的請求將立即得到YARN批準，但是實際中，資源是有限的，并且在繁忙的群集上，應用程式通常將需要等待其某些請求得到滿足，YARN調度程式的作業是根據一些定義的策略為應用程式分配資源，
在YARN中，負責給應用分配資源的就是Scheduler，它是ResourceManager的核心組件之一，Scheduler完全專用于調度作業，它無法跟蹤應用程式的狀態
三種調度器
- FIFO Scheduler（先進先出調度器）
FIFO Scheduler是一個先進先出的思想，即先提交的應用先運行，調度作業不考慮優先級和范圍，適用于負載較低的小規模集群，當使用大型共享集群時，它的效率較低且會導致一些問題
- Capacity Scheduler（容量調度器）
Capacity Scheduler容量調度是Apache Hadoop3.x默認調度策略，該策略允許多個組織共享整個集群資源，每個組織可以獲得集群的一部分計算能力，通過為每個組織分配專門的佇列，然后再為每個佇列分配一定的集群資源，這樣整個集群就可以通過設定多個佇列的方式給多個組織提供服務了
- Fair Scheduler（公平調度器）
Fair Scheduler叫做公平調度，提供了YARN應用程式公平地共享大型集群中資源的另一種方式，使所有應用在平均情況下隨著時間的流逝可以獲得相等的資源份額
MapReduce
Hadoop MapReduce是一個分布式計算框架，用于輕松撰寫分布式應用程式，這些應用程式以可靠，容錯的方式并行處理大型硬體集群（數千個節點）上的大量資料（多TB資料集），
MapReduce是一種面向海量資料處理的一種指導思想，也是一種用于對大規模資料進行分布式計算的編程模型，
WordCount編程實作思路
- map階段的核心：把輸入的資料經過切割，全部標記1，因此輸出就是<單詞，1>，
- shuffle階段核心：經過MR程式內部自帶默認的排序分組等功能，把key相同的單詞會作為一組資料構成新的kv對，
- reduce階段核心：處理shuffle完的一組資料，該組資料就是該單詞所有的鍵值對，對所有的1進行累加求和，就是單詞的總次數
例子：WordCount程式提交
上傳課程資料中的文本檔案1.txt到HDFS檔案系統的/input目錄下，如果沒有這個目錄，使用shell創建
hadoop fs -mkdir /input
hadoop fs -put 1.txt /input
準備好之后，執行官方MapReduce實體，對上述檔案進行單詞次數統計
第一個引數：wordcount表示執行單詞統計任務；
第二個引數：指定輸入檔案的路徑；
第三個引數：指定輸出結果的路徑（該路徑不能已存在）
[root@node1 mapreduce]# pwd
/export/server/hadoop-3.3.0/share/hadoop/mapreduce
[root@node1 mapreduce]# hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount
/input /output
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/549471.html
標籤：其他