按照MySql指南這里,我寫了這里的docker-compose檔案。首先,我啟動了airflow-init容器,運行資料庫遷移并在mysql資料庫中創建管理員用戶。然后運行調度程式,我開始在MySql中看到以下日志;
到資料庫的連接失敗 11: 'airflow' 用戶。'airflow' host: '192.168.0.3'(讀取通信資料包時出錯)
更多這樣的日志,也是在運行webserver之后。然而,我能夠像往常一樣登錄到用戶界面并觸發DAG,但用戶界面非常慢(與使用SqLite db和順序執行器時相比),我主要得到的是調度器似乎沒有運行。最后一次心跳是在<x seconds/minutes>之前收到的。作為用戶界面的一個警告。我試著增加max_allowed_packet、max_connections以及這里提到的interactive_timeout,但沒有成功。我還將 sql_alchemy_pool_recycle 增加了一倍,達到 3600。
這個問題在早期版本的 airflow 這里中被報告。我期待著用戶界面能夠順利運行。有人遇到過這個問題嗎?有什么提示或線索嗎?
uj5u.com熱心網友回復:
沒有太多資訊,但Airflow與MySQL的速度應該比Sqlite快得多
。最可能的情況是,你沒有分配足夠的記憶體給docker引擎,MySQL/Airflow開始使用交換磁盤。
我相信默認情況下,MySQL容器至少使用800MB,如果你不配置它使用更少的記憶體,再加上運行Airflow,他們只能舒適地使用約4GB。
如果你使用的是MacOS(猜測),Docker Engine的默認記憶體應該是2GB,所以你需要增加它。
轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/306794.html
標籤:
