報錯的原因是因為某一天集群切換ups電源時,出現了斷電,重啟集群后寫parquet檔案就會出現不成功,
- 空檔案和少量檔案寫parquet沒毛病,都能寫成功
- 大量資料80%寫不成功,20%能寫成功
- hdfs 還有1/3的空間,機器的本地磁盤也有30-40%的空閑,集群是配置是64核256G48T
- 報錯的幾臺datanode 單獨看沒有問題
- 出錯的代碼都是上線運行了幾個月,而且不是單個代碼報錯,涉及寫檔案的都報錯,隨便一個select 寫都報錯


以上兩張圖片出來運行時間不一樣,資源、位置、源資料、代碼都一模一樣
救救孩子吧,孩子看吐了也沒找出問題
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/377257.html
標籤:其他
上一篇:反彈shell
