Spark磁區可以被移除嗎？
是RDD轉化之后，上一個RDD的磁區會自動被系統移除嗎？還是有主動移除RDD的算子？
希望各位大佬解疑一下。
uj5u.com熱心網友回復：
磁區是自動繼承的，除非你colase或者repartion重新磁區。uj5u.com熱心網友回復：
我來說兩句把，是這樣的，在原始碼中，每一個rdd都繼承一個dependency類，這個Dependency就是此RDD的以來比如現在有個RDDA是祖先RDD，那么此RDD的Dependency為NIL 空
現在有一個RDDB是RDDA的子RDD，那么此RDDB的Dependency就不再是空，而是具備值，這個值就是RDDA的參考
所以不存在自動移除問題，因為除了祖先RDD的Dependency為空外，所以RDD在原始碼層面上都是多了一個Dependency類罷了！
個人理解，望廣大網農門批評指正
uj5u.com熱心網友回復：
不是繼承dependency而是每個一RDD都擁有dependency，一下是RDD原始碼：abstract class RDD[T: ClassTag](
@transient private var _sc: SparkContext,
@transient private var deps: Seq[Dependency[_]]
)
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/39336.html
標籤：Spark
下一篇：求助！快要被scala勸退了