假設已經有spark程式在跑 現在想用spark job server提交一個jar 把spark里面的rdd取出來 然后轉成dataframe
rdd轉換dataframe我知道怎么做 現在就是spark job server怎么去取spark 里面的rdd眉頭緒 如果都是job server 提交上去跑的job用命名rdd可以互相取到rdd 如果是兩個spark程式 可以互相取rdd嗎? jobserver可以取到spark里面的rdd嗎 應該不在同一個sparkcontext中不能做吧
先不考慮把rdd先存到檔案系統里 讓jobserver去讀 考慮直接從記憶體里去取 不知道有沒有大神指點下 最近也一直在找資料看
uj5u.com熱心網友回復:
這是什么。。。把rdd/dataframe存起來就好了嘛。。。干啥繞個大彎子轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/69082.html
標籤:Spark
上一篇:華為云計算問題
