在嘗試將 numpy 陣列轉換為 Spark DataFrame 時，我收到Can not infer schema for type: <class 'numpy.float64'>錯誤訊息。numpy.int64陣列也會發生同樣的事情。
例子：
df = spark.createDataFrame(numpy.arange(10.))
型別錯誤：無法推斷型別的架構：<class 'numpy.float64'>
uj5u.com熱心網友回復：
快速轉換為 Pandas DataFrame 效果很好：
import pandas
import numpy
df = spark.createDataFrame(pandas.DataFrame(numpy.arange(10.)))
uj5u.com熱心網友回復：
或者不使用熊貓：
df = spark.createDataFrame([(float(i),) for i in numpy.arange(10.)])
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/387855.html