
我曾經運行過火花背景關系。在我的代碼中使用 localcheckpoint 在檢查點后根據我的演算法截斷譜系我想洗掉 RDDs 參考請幫助我....
uj5u.com熱心網友回復:
要清理檢查點,您需要此配置:
spark.cleaner.referenceTracking.cleanCheckpoints true #Default: false; Controls whether to clean checkpoint files if the reference is out of scope.
見火花配置;
如果您想取消快取\洗掉 RDD:
rdd.unpersist()
轉載請註明出處,本文鏈接:https://www.uj5u.com/yidong/381434.html
