我有一個這樣的表，我想根據列示例中列出的內容創建一個新列
df.withcolumn('good',.when('java' or 'php' isin ['booksIntereste']).lit(1).otherwise(0))
包含 java 或 php 時所需的輸出 get 1 else 0
uj5u.com熱心網友回復：
你可以直接使用一個-array_containsHigher Order Function，另外你可以瀏覽這篇文章來了解更多
資料準備
d = {
'name':['James','Washington','Robert','Micheal'],
'booksInterested':[['Java','C#','Python'],[],['PHP','Java'],['Java']]
}
sparkDF = sql.createDataFrame(pd.DataFrame(d))
sparkDF.show()
---------- ------------------
| name| booksInterested|
---------- ------------------
| James|[Java, C#, Python]|
|Washington| []|
| Robert| [PHP, Java]|
| Micheal| [Java]|
---------- ------------------
陣列包含
sparkDF = sparkDF.withColumn('good',F.array_contains(F.col('booksInterested'), 'Java'))
---------- ------------------ -----
| name| booksInterested| good|
---------- ------------------ -----
| James|[Java, C#, Python]| true|
|Washington| []|false|
| Robert| [PHP, Java]| true|
| Micheal| [Java]| true|
---------- ------------------ -----
ForAll 陣列包含 - 多個
sparkDF = sparkDF.withColumn('good_multiple',F.forall(F.col('booksInterested'), lambda x: x.isin(['Java','Python','PHP'])))
sparkDF.show()
---------- ------------------ ----- -------------
| name| booksInterested| good|good_multiple|
---------- ------------------ ----- -------------
| James|[Java, C#, Python]| true| false|
|Washington| []|false| true|
| Robert| [PHP, Java]| true| true|
| Micheal| [Java]| true| true|
---------- ------------------ ----- -------------
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/455769.html
標籤：Python 数据框 数组列表 pyspark 高阶函数