搭建單節點偽分布式系統時，配置運行方式為yarn（改成local時運行wordcount正常）時，一直無回應，被掛起。
看了很多帖子，已檢查hosts正常，原本日志有個wrning提示存盤方面什么東西太小，增加Linux記憶體后無wrning。
但是程式依舊不能正常運行。
效果及resourcemanager日志：
服務器記憶體4G：
[hadoopuser@hadoop101 logs]$ free -m
total used free shared buff/cache available
Mem: 3774 1509 1869 8 395 1992
Swap: 2047 0 2047
配置：yarn-site.xml
<!-- Reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留時間設定7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
配置：mapred-site.xml
<configuration>
<!-- 指定MR運行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 歷史服務器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 歷史服務器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
</configuration>
uj5u.com熱心網友回復：
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/14111.html
標籤：Spark
上一篇：Ubuntu18.04 編譯 sparse-ncnet
下一篇：老碼農給新秀們的忠告