Hadoop集群配置-有解無憂

1、集群部署規劃

提醒：

NameNode 和 SecondaryNameNode 不要安裝在同一臺服務器，（它們兩個都需要耗記憶體，分開減少集群的壓力）
ResourceManager 也很消耗記憶體，不要和 NameNode、SecondaryNameNode 配置在同一臺機器上，

在這里插入圖片描述

2、組態檔說明

Hadoop 組態檔分兩類：默認組態檔和自定義組態檔，只有用戶想修改某一默認配置值時，才需要修改自定義組態檔，更改相應屬性值，

2.1、默認組態檔

在這里插入圖片描述

2.2、自定義組態檔

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
四個組態檔存放在 $HADOOP_HOME/etc/hadoop 這個路徑上，用戶可以根據專案需求重新進行修改配置，

3、進行集群配置

3.1、 core-site.xml檔案配置

進入該目錄
在這里插入圖片描述
找到 core-site.xml檔案進行編輯

<!-- 指定 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定 hadoop 資料的存盤目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置 HDFS 網頁登錄使用的靜態用戶為 song --> 
    <property> 
        <name>hadoop.http.staticuser.user</name> 
        <value>song</value> 
    </property>

在這里插入圖片描述

3.2、hdfs-site.xml檔案配置

	<!-- NameNode web 端訪問地址--> 
  <property> 
        <name>dfs.namenode.http-address</name> 
        <value>hadoop102:9870</value> 
    </property> 
  <!-- SecondaryNameNode web   2nn 內部端訪問地址--> 
    <property> 
        <name>dfs.namenode.secondary.http-address</name> 
        <value>hadoop104:9868</value> 
    </property>

在這里插入圖片描述

3.3、 yarn-site.xml檔案配置

<!-- 指定 MR 走 shuffle --> 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
 
    <!-- 指定 ResourceManager 的地址--> 
    <property> 
        <name>yarn.resourcemanager.hostname</name> 
        <value>hadoop103</value> 
    </property> 
 
    <!-- 環境變數的繼承 --> 
    <property> 
        <name>yarn.nodemanager.env-whitelist</name> 
        
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
    </property>

在這里插入圖片描述

3.4、 mapred-site.xml檔案配置

 <!-- 指定 MapReduce 程式運行在 Yarn 上 --> 
    <property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property>

在這里插入圖片描述

3.5、配置workers（有幾個節點就配置幾個主機名稱）

注意：該檔案中添加的內容結尾不允許有空格，檔案中不允許有空行，
在這里插入圖片描述

4、資料分發

使用分發腳本，將組態檔同步到其他的服務器上
點擊查看分發腳本
在這里插入圖片描述

5、啟動集群

5.1、初始化（只有第一次啟動的時候才需要）

如果集群是第一次啟動，需要在 hadoop102 節點格式化 NameNode（注意：格式化 NameNode，會產生新的集群 id，導致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往資料，如果集群在運行程序中報錯，需要重新格式化 NameNode 的話，一定要先停止 namenode 和 datanode 行程，并且要洗掉所有機器的 data 和 logs 目錄，然后再進行格式化，）