我正在嘗試使用 Apache Sedona 在 Delta Live Table 中運行一些地理空間轉換。我嘗試定義一個最小的示例管道來演示我遇到的問題。
我的筆記本的第一個單元，我安裝了 apache-sedona Python 包：
%pip install apache-sedona
然后我只使用 SedonaRegistrator.registerAll （在 SQL 中啟用地理空間處理）并回傳一個空資料框（無論如何都沒有到達該代碼）：
import dlt
from pyspark.sql import SparkSession
from sedona.register import SedonaRegistrator
@dlt.table(comment="Test temporary table", temporary=True)
def my_temp_table():
SedonaRegistrator.registerAll(spark)
return spark.createDataFrame(data=[], schema=StructType([]))
我創建了 DLT 管道，除了 spark 配置外，其他所有內容都保持默認：
這是spark.jars.packages:的未切割值org.apache.sedona:sedona-python-adapter-3.0_2.12:1.2.0-incubating,org.datasyslab:geotools-wrapper:1.1.0-25.2。
根據本
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/477860.html
標籤：Python 阿帕奇火花 pyspark 数据块 delta-live-tables
上一篇：RDD[(String,Iterable[GenericData.Record])]到Map[(String,RDD[GenericData.Record])]