使用以下包https://docs.microsoft.com/en-us/sql/connect/spark/connector?view=sql-server-ver16將 sql server 連接到 spark 。目前正在閱讀整個表格，但這對性能不利。為了優化性能，我想將查詢傳遞給以下 spark.read 配置。例如，從我的表中選擇 *，其中記錄時間 > 時間戳。這可能嗎？我該怎么做？
DF = spark.read \
.format("com.microsoft.sqlserver.jdbc.spark") \
.option("url", jdbcUrl) \
.option("dbtable", table_name) \
.option("user", username) \
.option("password", password).load()
uj5u.com熱心網友回復：
您可以只過濾您正在創建的資料框。Spark 支持謂詞下推，這意味著過濾很可能直接在資料庫之上運行。您可以通過查看 SparkUI / Explain Plan 來確保它有效
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/504671.html
標籤：阿帕奇火花 sql-server-2008 pyspark 数据库 apache-spark-sql
上一篇：webgl(three.js)實作室內三維定位,3D定位,3D樓宇bim、實時定位三維可視化解決方案——第十四課（定位升級版）
下一篇：SQLCount()回傳全1