Hadoop3.x組態檔

首先了解一下有哪些即將配置的結點

下面開發的時候進行的結點配置

下面的內容的解釋可以在官方檔案中翻到最下面找到

第二列是如果不配的話，默認給你賦的值，第三列是解釋

配置hdfs的集群關聯

在主機的/liu/hadoop/etc/hadoop/core-site.xml的 <configuration></configuration>節點內插入如下內容，

<!-- 決定hdfs運行模式，這里填上自己的ip，就變為集群模式，填上的是NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://liu:8020</value> <!--主節點NameNode的地址(datanode不需要配置埠)-->
        <!-- liu這個主機名字必須是 在主機的hosts檔案中已經標注過的-->
</property>

<!-- 配置hadoop臨時目錄，存盤元資料用的-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/liu/hadoop/linshi</value>
</property>

<!-- 配置web端頁面的靜態用戶 -->
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
        <!-- 管理員的名字,必須是 主機 存在的用戶（不是副機），并且該用戶擁有root權限才行（這里直接用了root用戶，所以具有所有權限，就不管了） -->
</property>

<!--定義HDFS所開放的代理服務 給hive用 -->
<property>                  <!--↓這里的名字要和前面的staticuser的名字一樣 -->
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>

<property><!--                  ↓這里的名字要和前面的staticuser的名字一樣 -->
        <name>hadoop.proxyuser.root.groups</name><!--給所有組(里面包含用戶)分配 權限-->
        <value>*</value>
</property>

然后格式化主節點的NameNode：（廢棄了不用管，只要running了就行）

hadoop namenode -format

啟動Namenode和DataNode：(jps后，看到行程運行即可）

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

配置結點關聯的web控制臺

在主機的/liu/hadoop/etc/hadoop/hdfs-site.xml的 <configuration></configuration>節點內插入如下內容，

<!-- 配置  主結點的web控制臺地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>liu:9870</value>
</property>

<!-- 配置  從結點的web控制臺地址-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>liu2:9868</value>
</property>

完事后，啟動NameNode和DataNode后，關閉防火墻，直接 公網ip:9870就能訪問NameNode的web控制臺了，

配置mapreduce的集群關聯

在主機的/liu/hadoop/etc/hadoop/mapred-site.xml的 <configuration></configuration>節點內插入如下內容，

<property> <!-- 把mapred的作業區間放在yarn集群上跑-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<!-- 歷史服務器運行機器以及埠 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>liu2:10020</value>
</property>

<!-- 歷史服務器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>liu2:19888</value>
</property>

配置yarn的集群關聯

在主機的/liu/hadoop/etc/hadoop/yarn-site.xml的 <configuration></configuration>節點內插入如下內容，

<!-- 指定MR走shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定ResourceManager的地址-->
 <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>liu2</value>
</property>

<!-- 環境變數的繼承，給container用的-->
<property>
        <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<!-- yarn容器允許分配的最大最小記憶體 -->
<property><!-- 執行一個mr的job時 的最大最小空間 -->
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>4096</value>
</property>
<property><!-- NodeManager給ResourceManager 能給的最多記憶體-->
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>
<property> <!--            physical物理記憶體的使用檢查，如果為true，那么一旦超過前面的最大值，就會直接殺死該行程-->
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property><!--            virtual物理記憶體的使用檢查-->
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value> <!-- true就是 啟動日志服務器 -->
</property>

<!-- 設定日志聚集服務器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://liu2:19888/jobhistory/logs</value>
</property>

<!-- 設定日志保留時間為7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>