我的代碼如下。我讀取一個CSV檔案，該檔案有兩列。通過轉換為RDD，回圈瀏覽資料框架的元素。現在我想為每個元素創建一個DF。下面的代碼失敗了。誰能幫幫我。
val df1 = spark.read. format("csv").load("c:file.csv") //CSV有3列。
for (row <- df1.rdd.collection)
{
var tab1 = row.mkString(",").split(",")(0) /Has Tablename
var tab2 = row.mkString(",").split(",")(1) /O one select Statment
var tab3 = row.mkString(",").split(",")(1) //Another Select Statment
val newdf = spark.createDataFrame(tab1).toDF("Col") // This is not working
}
我想將tab2資料幀與tab3連接，并附加tablename。例如
在tab2和tab3中執行查詢，得到的結果如下：
。Col1 col2
--- ---
A B
C D
E F
G H
我想如下：
Col0 Col1 Col2
---- ---- ---
Tab1 A B
Tab1 C D
Tab2 E F
Tab3 G h
現在tab1 tab2 tab2......等等這些資訊都在我閱讀的CSV檔案中。
uj5u.com熱心網友回復：
我能夠解決我的替換：
val newdf = spark.createDataFrame(tab1).toDF("Col") // This is not working
通過
val newDf = spark.sparkContext.parallelize(Seq(newdf)).toDF("col" />)
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/309873.html
標籤：
上一篇：Linq采取不同的