1 Spark Web UI
Spark提供了一些基本的Web監控頁面，對于日常監控十分有用，
通過http://master:4040（默認埠是4040，可以通過spark.ui.port修改）我們可以獲得運行中的程式資訊：（1）stages和tasks調度情況；（2）RDD大小及記憶體使用；（3）系統環境資訊；（4）正在執行的executor資訊，
如果想當Spark應用退出后，仍可以獲得歷史Spark應用的stages和tasks執行資訊，便于分析程式不明原因掛掉的情況，可以開啟History Server，配置方法如下：
（1）$SPARK_HOME/conf/spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=50
Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"
說明：spark.history.retainedApplica-tions僅顯示最近50個應用spark.history.fs.logDirectory：Spark History Server頁面只展示該路徑下的資訊，
（2）$SPARK_HOME/conf/spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop000:8020/directory #應用在運行程序中所有的資訊均記錄在該屬性指定的路徑下
spark.eventLog.compress true
（3）HistoryServer啟動
$SPARK_HOMR/bin/start-histrory-server.sh
（4）HistoryServer停止
$SPARK_HOMR/bin/stop-histrory-server.sh
同時Executor的logs也是查看的一個出處：
Standalone模式：$SPARK_HOME/logs
YARN模式：在yarn-site.xml檔案中配置了YARN日志的存放位置：yarn.nodemanager.log-dirs，或使用命令獲取yarn logs -applicationId，
同時通過配置ganglia，可以分析集群的使用狀況和資源瓶頸，但是默認情況下ganglia是未被打包的，需要在mvn編譯時添加-Pspark-ganglia-lgpl，并修改組態檔$SPARK_HOME/conf/metrics.properties，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/224912.html
標籤：其他
上一篇：Spark-1-調優基本原則
下一篇：資料庫索引總結(一)