我有一個帶有主鍵、日期、變數和值的資料框。我想按主鍵分組并確定所有值是否都等于提供的值。示例資料：
import pandas as pd
from datetime import date
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = pd.DataFrame({
"pk": [1, 1, 1, 1, 2, 2, 2, 2, 3, 4],
"date": [
date("2022-05-06"),
date("2022-05-13"),
date("2022-05-06"),
date("2022-05-06"),
date("2022-05-14"),
date("2022-05-15"),
date("2022-05-05"),
date("2022-05-05"),
date("2022-05-11"),
date("2022-05-12")
],
"variable": [A, B, C, D, A, A, E, F, A, G],
"value": [2, 3, 2, 2, 1, 1, 1, 1, 5, 4]
})
df = spark.createDataFrame(df)
df.show()
df1.show()
# ----- ----------- -------- -----
#|pk | date|variable|value|
# ----- ----------- -------- -----
#| 1| 2022-05-06| A| 2|
#| 1| 2022-05-13| B| 3|
#| 1| 2022-05-06| C| 2|
#| 1| 2022-05-06| D| 2|
#| 2| 2022-05-14| A| 1|
#| 2| 2022-05-15| A| 1|
#| 2| 2022-05-05| E| 1|
#| 2| 2022-05-05| F| 1|
#| 3| 2022-05-11| A| 5|
#| 4| 2022-05-12| G| 4|
# ----- ----------- -------- -----
因此，如果我想知道給定主鍵，pk所有值是否等于 1（或任何任意布爾測驗），我應該怎么做？我嘗試過執行，applyInPandas但這并不是超級有效，而且似乎有一種非常簡單的方法可以做到這一點。
uj5u.com熱心網友回復：
對于 Spark 3. ，您可以使用forall函式來檢查收集的所有值是否collect_list滿足布爾測驗。
import pyspark.sql.functions as F
df1 = (df
.groupby("pk")
.agg(F.expr("forall(collect_list(value), v -> v == 1)").alias("value"))
)
df1.show()
# --- -----
# | pk|value|
# --- -----
# | 1|false|
# | 3|false|
# | 2| true|
# | 4|false|
# --- -----
# or create a column using window function
df2 = df.withColumn("test", F.expr("forall(collect_list(value) over (partition by pk), v -> v == 1)"))
df2.show()
# --- ---------- -------- ----- -----
# | pk| date|variable|value| test|
# --- ---------- -------- ----- -----
# | 1|2022-05-06| A| 2|false|
# | 1|2022-05-13| B| 3|false|
# | 1|2022-05-06| C| 2|false|
# | 1|2022-05-06| D| 2|false|
# | 3|2022-05-11| A| 5|false|
# | 2|2022-05-14| A| 1| true|
# | 2|2022-05-15| A| 1| true|
# | 2|2022-05-05| E| 1| true|
# | 2|2022-05-05| F| 1| true|
# | 4|2022-05-12| G| 4|false|
# --- ---------- -------- ----- -----
您可能希望將其放在case子句中以處理 NULL 值。
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/480208.html
標籤：Python 数据框 阿帕奇火花 pyspark 聚合函数