我有一個簡單的Spark資料幀與柱ID與整數值1,2等:
--- -------
| ID| Tags |
--- -------
| 1| apple |
| 2| kiwi |
| 3| pear |
--- -------
我想檢查值2是否在ID任何行的列中,filter方法僅對字串列有用。有任何想法嗎?
更新:
我正在嘗試:
df.filter(df.ID).contains(2)
最后我需要boolean True或False輸出。
uj5u.com熱心網友回復:
不,Filter也可以過濾其他資料型別。
dataDictionary = [
(1,"APPLE"),
(2,"KIWI"),
(3,"PEAR")
]
df = spark.createDataFrame(data=dataDictionary, schema = ["ID","Tags"])
df.printSchema()
df.show(truncate=False)
df.filter("ID==2").rdd.isEmpty() #Will return Boolean.

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/311453.html
