資料集中有一個陣列欄位，例如：
my_array:
[
{id: 1, value: x},
{id: 2, value: y}
]
如何使它像：
my_strcut: {
1: {value: x},
2: {value: y}
}
我已經嘗試過map_from_entries，transform但仍然有結構陣列作為輸出。
更新
有一個從 json 讀取資料的資料集。像這樣的資料：
{"id":1, ... "arrayOfStructs" : [{"name": "x", "key":"value"}, {"name": "y", "key":"value2"}]}
輸出應該是這樣的：
{"id":1, ... "structsOnly" : { "x": {"name": "x", "key":"value"}}, { "y": {"name": "y", "key":"value2"}}}
uj5u.com熱心網友回復：
我認為您想在這種情況下使用 MapType 而不是 StructType ，因為 struct 要求您知道 field 的所有值id。像這樣使用transform aggregate函式：
val df1 = df.withColumn(
"structsOnly",
expr("""aggregate(
transform(arrayOfStructs, x -> map(x.name, x)),
cast(map() as map<string,struct<name:string,key:string>>),
(acc, x) -> map_concat(acc, x)
)
""")
).drop("arrayOfStructs")
df1.printSchema
//root
// |-- id: integer (nullable = false)
// |-- structsOnly: map (nullable = true)
// | |-- key: string
// | |-- value: struct (valueContainsNull = true)
// | | |-- name: string (nullable = true)
// | | |-- key: string (nullable = true)
df1.toJSON.show(false)
// ---------------------------------------------------------------------------------------
//|value |
// ---------------------------------------------------------------------------------------
//|{"id":1,"structsOnly":{"x":{"name":"x","key":"value"},"y":{"name":"y","key":"value2"}}}|
// ---------------------------------------------------------------------------------------
現在，如果你真的想要結構型別列，那么你需要收集欄位的所有可能值，key然后像這樣構造列：
val keys = df1.select(map_keys($"structsOnly")).as[Seq[String]].collect.flatten.distinct
val df2 = df1.withColumn(
"structsOnly",
struct(keys.map(k => col("structsOnly").getField(k).as(k)): _*)
)
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/417418.html
標籤：