? 成長這一路就是懂得閉嘴努力，知道低調謙遜，學會強大自己，在每一個值得珍惜的日子里，拼命去成為自己想成為的人
Hadoop配置日志聚集
應用場景
為了讓應用運行完成以后，將程式運行日志資訊上傳到HDFS系統上，有了日志之后就可以查看程式中的報錯資訊，從而除錯程式
配置步驟
1.配置yarn-site.xml
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留時間設定7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2.重啟集群
sbin/stop-yarn.sh
sbin/stop-dfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver
3.運行程式
上傳資料到HDFS
賦給檔案權限
運行程式
查看運行結果
4.查看日志
相關資料
本文配套GitHub：https://github.com/zhutiansama/FocusBigData
本文配套公眾號：FocusBigData
回復【大資料面經】【大資料面試經驗】【大資料學習路線圖】會有驚喜哦
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/154798.html
標籤：Java
上一篇：Spring Boot & Restful API 構建實戰！
下一篇：Redis可以用作訊息佇列嗎？