我試過 spark.eventlog.dir=false ,然后 Spark 歷史服務器沒有顯示任何與此相關的資訊。
當 spark.eventlog.dir 設定為 false 時,是否有任何類似的方式作業歷史服務器不會顯示類似于 Spark 歷史服務器的應用程式相關資訊。
uj5u.com熱心網友回復:
如果我們將下面突出顯示的屬性設定為除 mapred-site.xml 中的默認位置以外的任何位置,則可以做到這一點
yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi -D mapreduce.map.memory.mb=512 -D mapreduce.reduce.memory.mb=512 - Dmapreduce.jobhistory.intermediate-done-目錄=<<“新位置”>> 2 10
完成此操作后,作業歷史服務器無法將日志從中間完成目錄移動到完成目錄。因為它從 mapred-site.xml 中配置的位置讀取
轉載請註明出處,本文鏈接:https://www.uj5u.com/net/514499.html
上一篇:清潔架構中的服務
