Scala向UDF傳遞視窗磁區資料集 -有解無憂

我有一個資料框架，如下所示，

我有一個資料框架。

任務名稱任務名稱indexdfr3ws-45d?

er98d3-lkj?

Id1	Id2	Id3	TaskId
1	11	BC123-234	randomName1	1
11	1	11	BC123-234	randomName2	1	11

BC123-234hu77d9-mnb? randomName3

1 1 11 BC123-234 xc33d5-rewxc33d5-rew? deployhere4

dfr3ws-45drandomName1 1

1 11 1 11XR43-876Deployhere2

XR43-876hu77d9-mnb? randomName3 3 3 3

1 1 XR43-876xc33d5-rew? randomName4 4 4 4

我使用Id3和Id2對資料進行磁區，并添加了row_number.

。

我需要執行以下條件：

TaskId "hu77d9-mnb "應該在任務名稱之前，其中包含部署。如上表所示，名稱將是隨機的，我需要讀取磁區中的每個名稱，看看哪個名稱中包含deploy。

如果deploy taskName的索引大于taskID的索引，那么我就把這個值標記為1，否則為0.

。

我需要得到像這樣的最終表格：

我需要得到像這樣的最終表格。

任務名稱任務名稱索引dfr3ws-45d?

er98d3-lkj?

hu77d9-mnb?

Id1	Id2	Id3	TaskId	result
1	11	BC123-234	randomName1	1	1	1
1	11	BC123-234	randomName2	2	1	1
1	11	BC123-234	randomName3	3	1

1 1 11 BC123-234 xc33d5-rewxc33d5-rew? deployhere44 1

1 1 dfr3ws-45drandomName1 1 0

1 1 11XR43-876Deployhere2 0

XR43-876hu77d9-mnb? randomName33 0

1 1 11XR43-876xc33d5-rew? randomName4 4 0

我被困在這個地方，我如何將磁區資料傳遞給UDF（或其他函式如UDAF）并執行這個任務。任何建議都會有幫助。謝謝你的時間。

uj5u.com熱心網友回復：

"deploy "行的索引和特定行（"hu77d9-mnb"）的索引可以用Window "first "函式分配給每一行，然后進行比較即可：

val df = Seq(
  (1, 11, "bc123-234", "dfr3ws-45d", "randomName1", 1）。)
  (1, 11, "bc123-234", "er98d3-lkj", "randomName2", 2）。)
  (1, 11, "bc123-234", "hu77d9-mnb", "randomName3", 3）。)
  (1, 11, "bc123-234", "xc33d5-rew", "deployhere4", 4）。)
  (1, 11, "xre43-876", "dfr3ws-45d", "randomName1", 1）。)
  (1, 11, "xre43-876", "er98d3-lkj", "deployhere2", 2）。)
  (1, 11, "xre43-876", "hu77d9-mnb", "randomName3", 3）。)
  (1, 11, "xre43-876", "xc33d5-rew", " randomName4", 4)
). toDF("Id1"/span>, "Id2"/span>, "Id3"/span>, "TaskID"/span>, "TaskName"/span>, "index"/span>)

val specificTaskId = "hu77d9-mnb"/span>.
val idsWindow = Window.partitionBy("Id1"/span>, "Id2"/span>, "Id3"/span>)

df.withColumn("deployIndex",
  首先(
    when(instr($"TaskName", "deploy") > 0, $"index").other(null) 。
    true)
    .over(idsWindow))

  .withColumn("specificTaskIdIndex",
    首先(
      when($"TaskID" === lit(specificTaskId), $"index").otherwise(null)。
      true)
      .over(idsWindow))

  .withColumn("result",
    when($"specificTaskIdIndex" > $"deployIndex", 0) .other(1)
  )

輸出（"deployIndex "和 "specificTaskIdIndex "列必須被洗掉）：

 --- --- --------- ---------- ----------- ----- ----------- ------------------- ------ 
|Id1|Id2|Id3|TaskID|TaskName |index|deployIndex|specificTaskIdIndex|result|
 --- --- --------- ---------- ----------- ----- ----------- ------------------- ------ 
|1 |11 |bc123-234|dfr3ws- 45d|randomName1|1|4|3|1|
|1 |11 |bc123234|er98d3-lkj|randomName2|2 |4 |3 |1 |2
|1 |11 |bc123234|hu77d9-mnb|randomName3|3|4|3|1|
|1 |11 |bc123234|xc33d5-rew|deployhere4|4|4|3|1|
|1 |11 |xre43876|dfr3ws- 45d|randomName1|1|2|3|0|
|1 |11 |xre43876|er98d3-lkj|deployhere2|2 |2 |3 |0 |0
|1 |11 |xre43876|hu77d9-mnb|randomName3|3 |2 |3 |0 |
|1 |11 |xre43-876|xc33d5-rew|randomName4|4 |2 |3 |0 |
 --- --- --------- ---------- ----------- ----- ----------- ------------------- ------

轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/326139.html

標籤：

上一篇：如何從本地服務器上的共享檔案加載影像？

下一篇：如何使用mongodb聚合對具有相同鍵的物件進行分組