小弟剛學spark,用CDH搭了一個集群服務器,寫了spark程式跑在yarn上,找不到程式的除錯日志,用了網上說的修改spark-conf下的log4j.properties 配置,增加了:
log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.FILE.Threshold=DEBUG
log4j.appender.FILE.file=/opt/app/sparkServicesLog/spark.log
log4j.appender.FILE.DatePattern='.'yyyy-MM-dd
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n:mm:ss}] [%C{1}:%M:%L] %m%n
日志有了,但也只是spark的輸出日志,沒有程式的輸出的除錯日志,請教各位大神,怎么解決???萬分感謝。。
uj5u.com熱心網友回復:
沒用過Yarn模式,StandAlone模式的話,需要繼承Logging,然后使用logInfo記錄日志,會在Executor上生成記錄的日志轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/54866.html
標籤:Spark
