graphx 使用的是vertex cut. 有沒有快速的方法可以找出所有屬于不同partition的節點(cross vertices)?
例如:Edge(1,2) 屬于partition 1; Edge(2,3) 輸入partition 2
那么邏輯上節點2 存在于兩個不同的partition, 如何能夠快速的將這類節點全部找出來?
我現在使用的方法是先用partitionWithIndex把partition號碼標在每個邊上,然后使用aggregateMessages將號碼發送到邊對應的節點上。如果一個節點上的號碼(distinct以后)大于1, 則該節點為cross vertices。 但這個方法效率很低。
請大神看看有沒有快速的方法可以實作?
uj5u.com熱心網友回復:
路由表記錄頂點所在磁區的情況。通過路由表實作。轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/80952.html
標籤:Spark
