我正在嘗試閱讀 spark 上的鑲木地板檔案，但我有一個問題。
使用 spark.read.parquet 加載 parquet 檔案時如何推斷型別？
- 1 . Parquet 型別INT32 -> Spark 型別IntegerType
- 2 . 從實際存盤值推斷的 Parquet -> Spark IntegerType
有沒有像1這樣的映射字典？或者它是從實際存盤的值（如2 ）推斷出來的？
uj5u.com熱心網友回復：
Spark 使用 parquet 模式將其決議為內部表示（即 StructType），在 spark 檔案上很難找到此資訊。我瀏覽了代碼以在此處找到您要查找的映射：
https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/parquet/ParquetSchemaConverter.scala#L197-L281
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/421899.html
標籤：
上一篇：SparkSQL配置
下一篇：該表回傳列號而不是計數