JobHistory
- 1、namenode修改mapred-site.xml
- 2、namenode修改yarn-site.xml
- 3、修改后的檔案分發到其他機器上面去
- 4、重啟yarn集群以及啟動jobHistoryServer行程
- 5、jobhistoryserver
- 6、頁面訪問jobhistoryserver
我們可以通過Hadoop jar的命令來實作我們的程式jar包的運行，關于運行的日志，我們一般都需要通過啟動一個服務來進行查看，就是我們的JobHistoryServer，我們可以啟動一個行程，專門用于查看我們的任務提交的日志
要修改的組態檔中要將value里面的node01修改為namenode主機名
1、namenode修改mapred-site.xml
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml
namenode服務器修改mapred-site.xml，添加以下配置:
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
2、namenode修改yarn-site.xml
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml
namenode服務器修改mapred-site.xml，添加以下配置:
<property>
<!--是否啟用日志聚合功能，日志聚合開啟后保存到HDFS上，-->
<name>yarn.log-aggregation-enable</name> <value>true</value>
</property>
<property>
<!--聚合后的日志在HDFS上保存多長時間，單位為s-->
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<!--指定檔案壓縮型別用于壓碩訓總日志-->
<name>yarn.nodemanager.log-aggregation.compression-type</name>
<value>gz</value>
</property>
<!-- nodemanager本地檔案存盤目錄-->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/export/servers/hadoop-2.6.0/yarn/local</value>
</property>
<!-- resourceManager 保存最大的任務完成個數 -->
<property>
<name>yarn.resourcemanager.max-completed-applications</name>
<value>1000</value>
</property>
3、修改后的檔案分發到其他機器上面去
將namenode修改后的mapred-site.xml和yarn-site.xml分發到其他機器上面去：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
scp mapred-site.xml yarn-site.xml node02:$PWD
scp mapred-site.xml yarn-site.xml node03:$PWD
4、重啟yarn集群以及啟動jobHistoryServer行程
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
stop-yarn.sh
start-yarn.sh
5、jobhistoryserver
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
sbin/mr-jobhistory-daemon.sh start historyserver
6、頁面訪問jobhistoryserver
http://namenode節點IP:19888
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/168936.html
標籤：其他
上一篇：Centos7離線安裝MySQL