我有一個問題,我試圖在名為 Apache Airflow 的東西中執行某些任務。
問題是記憶體非常有限,執行此 Pandas 行會導致它驅逐任務并將其歸類為使用過多記憶體。
有沒有辦法在不使用這 2 個資料幀的情況下以另一種方式執行此操作?
arct_df = arct_df[~arct_df.im_uuid.isin(dadge_df.im_uuid)]
樣本arct_df和假設dadge_df具有相同的列,只是行中的資料不同。

uj5u.com熱心網友回復:
您不應該使用 Airflow 作為資料處理框架,如果有機會,該操作很可能會在資料庫上運行得更好。
請參閱氣流最佳實踐。
轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/366343.html
