我的氣流調度程式遇到了一個簡單的問題。每隔幾周，調度程式就會變成Evicted. 當我在 pod 上運行描述時，問題是因為The node was low on resource: ephemeral-storage. Container scheduler was using 14386916Ki, which exceeds its request of 0.
問題是兩方面的。首先，為什么調度程式使用臨時存盤？其次，在 eks 上運行時是否可以添加臨時存盤？
謝謝！
uj5u.com熱心網友回復：
我相信 Ephemeral Storage 不是 Airflow 的問題，而更多的是你的 K8S 集群的配置。
假設我們談論的是 OpenShift 的臨時存盤：
https://docs.openshift.com/container-platform/4.9/storage/understanding-ephemeral-storage.html
這可以在您的集群中配置，它會使“/var/log”短暫。
我認為問題是它/var/logs變得滿了。可能是一些系統日志（不是來自 airlfow，而是來自在同一容器中運行的其他一些行程）。我認為一個解決方案是定期清理系統日志。
例如，我們有這個清理 Airlfow 日志的腳本：
https://github.com/apache/airflow/blob/main/scripts/in_container/prod/clean-logs.sh
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/405035.html
標籤：