主頁 > 後端開發 > Django 如何使用 Celery 完成異步任務或定時任務

Django 如何使用 Celery 完成異步任務或定時任務

2023-04-26 07:27:48 後端開發

以前版本的 Celery 需要一個單獨的庫(django-celery)才能與 Django 一起作業, 但從 Celery 3.1 開始,情況便不再如此,我們可以直接通過 Celery 庫來完成在 Django 中的任務,

安裝 Redis 服務端

以 Docker 安裝為例,安裝一個密碼為 mypassword 的 Redis 服務端

docker run -itd --name redis -p 127.0.0.1:6379:6379 redis:alpine redis-server --requirepass mypassword

在 Python 中安裝 Celery 和 Redis

pip install celery redis

在 Django 專案中添加 Celery 配置

在 Django 專案中創建一個 celery.py 檔案,并配置 Celery 應用程式,這個檔案應該與 settings.py 檔案位于同一目錄下:

import os

from celery import Celery

# 設定 Django 的默認環境變數
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')

app = Celery('myproject')

# 使用 Django 的 settings.py 檔案配置 Celery
app.config_from_object('django.conf:settings', namespace='CELERY')

# 從所有已安裝的應用中自動發現并加載任務模塊
app.autodiscover_tasks()

然后在 settings.py 檔案中添加配置:

# 使用 Redis 作為訊息代理(broker)來傳遞任務訊息,連接地址為 localhost:6379/0,并提供密碼 mypassword 進行身份驗證,
CELERY_BROKER_URL = 'redis://:mypassword@localhost:6379/0'

# 使用 Redis 作為結果存盤后端,連接地址同上,使用相同的密碼進行身份驗證,
CELERY_RESULT_BACKEND = 'redis://:mypassword@localhost:6379/0'

# 指定發送到代理(broker)的任務訊息序列化格式為 JSON 格式,
CELERY_TASK_SERIALIZER = 'json'

# 指定從結果后端獲取的結果序列化格式為 JSON 格式,
CELERY_RESULT_SERIALIZER = 'json'

# 指定支持接收的內容型別為 JSON 格式,
CELERY_ACCEPT_CONTENT = ['json']

# 將時區設定為亞洲/上海時區,
CELERY_TIMEZONE = 'Asia/Shanghai'

# 啟用 UTC 時間,
CELERY_ENABLE_UTC = True

在 Django 應用程式中創建一個 tasks.py 檔案,并撰寫要運行的任務函式,例如,此處我們將撰寫一個名為 send_email() 的任務,來定期發送電子郵件:

from django.core.mail import send_mail
from celery import shared_task

@shared_task
def send_email():
    # 發送電子郵件的代碼
    pass

如果想要實作異步任務的功能,在 Django 專案中的任何位置呼叫任務函式即可,例如,在 views.py 檔案中,我們可以從視圖函式中啟動任務,如下所示:

from myapp.tasks import send_email

def my_view(request):
    send_email.delay()
    return HttpResponse('任務已經在后臺執行,')

如果想要實作定時任務的功能,可以在 Celery 的組態檔中設定定時任務的調度方式,例如,要每小時運行一次 send_email() 任務,我們可以添加以下代碼:

from celery.task.schedules import crontab

app.conf.beat_schedule = {
    'send-email-every-hour': {
        'task': 'myapp.tasks.send_email',
        'schedule': crontab(minute=0, hour='*/1'),
    },
}

定時任務的具體寫法可以參考官方檔案:https://docs.celeryq.dev/en/stable/userguide/periodic-tasks.html?highlight=crontab

運行 Celery-worker 與 Celery-beat

Celery是一個分布式任務佇列,由三個主要組件組成:Celery worker、Celery beat 和訊息代理(例如 Redis 或 RabbitMQ),這些組件一起協作,讓開發者能夠輕松地執行異步任務和定時任務,

Celery worker:負責接收任務請求并執行任務,當您在 Django 應用程式中呼叫 apply_async 方法時,任務將被發送到 Celery worker,然后由 worker 執行,

Celery beat:負責調度定時任務,它會根據定義的規則定期觸發任務,并將其發送到 Celery worker 處理,

所以,對于需要運行定時任務的情況,我們需要同時啟動 Celery worker 和 Celery beat 行程來確保所有任務都可以被正確地處理和執行,

如果只需要使用 Celery 來執行異步任務,那么只需啟動 Celery worker 即可,但如果需要周期性地執行任務,那么需要啟動 Celery beat 來幫助完成調度這些任務,

# 運行 worker 與 beat
celery -A proj worker --loglevel=info --detach --pidfile=worker.pid --logfile=./logs/worker.log
celery -A proj beat --loglevel=info --detach --pidfile=beat.pid --logfile=./logs/beat.log
  • -A proj:指定 Celery 應用程式所在的模塊或包,這里假設其名為 proj,
  • worker 或 beat:啟動的行程名稱,分別對應 worker 和 beat 兩種型別的 Celery 行程,
  • --loglevel=info:設定日志級別為 info,即只記錄 info 級別及以上的日志資訊,
  • --detach:以守護行程(daemonized)方式啟動 Celery 行程,使其在后臺運行,
  • --pidfile=worker.pid 或 --pidfile=beat.pid:將行程 ID(PID)寫入指定的 PID 檔案,方便后續管理和監控,
  • --logfile=./logs/worker.log 或 --logfile=./logs/beat.log:指定日志檔案路徑,所有日志資訊都會輸出到該檔案中,

隨后我們設定的定時任務便會按規則執行,可以通過指定的日志檔案查看執行結果,當我們需要停止 Celery worker 與 Celery beat 時,可以執行以下操作:

kill -TERM $(cat worker.pid)
kill -TERM $(cat beat.pid)

參考

[1] [Using Celery with Django]: https://docs.celeryq.dev/en/stable/django/first-steps-with-django.html#using-celery-with-django
[2] [Periodic Tasks]: https://docs.celeryq.dev/en/stable/userguide/periodic-tasks.html?highlight=crontab

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/551159.html

標籤:Python

上一篇:簡述PHP中trait的使用和同時引入多個trait時同名方法沖突的處理

下一篇:返回列表

標籤雲
其他(158071) Python(38100) JavaScript(25391) Java(18001) C(15217) 區塊鏈(8260) C#(7972) AI(7469) 爪哇(7425) MySQL(7144) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5870) 数组(5741) R(5409) Linux(5329) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4561) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2431) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1960) Web開發(1951) HtmlCss(1926) python-3.x(1918) 弹簧靴(1913) C++(1911) xml(1889) PostgreSQL(1874) .NETCore(1855) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Django 如何使用 Celery 完成異步任務或定時任務

    以前版本的 Celery 需要一個單獨的庫(django-celery)才能與 Django 一起作業, 但從 Celery 3.1 開始,情況便不再如此,我們可以直接通過 Celery 庫來完成在 Django 中的任務。 安裝 Redis 服務端 以 Docker 安裝為例,安裝一個密碼為 my ......

    uj5u.com 2023-04-26 07:27:48 more
  • 簡述PHP中trait的使用和同時引入多個trait時同名方法沖突的處理

    PHP的類是單一繼承模式,也就是每個類只能繼承一個父類(基類)。 但有時需要引入更多通用(共用)的方法,同時這些方法又不適合集成到基類。 那么這時,就需要使用其他方法來引入這些方法。其中trait,就是方法之一。 trait是PHP5.4之后出現的一種代碼復用方法,形式和Class非常相似,同時可以 ......

    uj5u.com 2023-04-26 07:21:26 more
  • 這可能是最全面的MySQL面試八股文了

    什么是MySQL MySQL是一個關系型資料庫,它采用表的形式來存盤資料。你可以理解成是Excel表格,既然是表的形式存盤資料,就有表結構(行和列)。行代表每一行資料,列代表該行中的每個值。列上的值是有資料型別的,比如:整數、字串、日期等等。 資料庫的三大范式 第一范式1NF 確保資料庫表欄位的原 ......

    uj5u.com 2023-04-25 09:31:53 more
  • 【Jmeter】按比例分配Api壓測

    先看 【Jmeter】基礎介紹-詳細 【Jmeter】Request1輸出作為Request2輸入-后置處理器 繼續聊提出的第二個問題,即 2.需要按比例分配API請求并發,以模擬真實的API壓力場景 做壓測的時候,一般的需求都是多個API同時壓,不然也看不出真正的tps是多少啊。 比如雖然介面a的 ......

    uj5u.com 2023-04-25 09:30:35 more
  • 這可能是最全面的MySQL面試八股文了

    什么是MySQL MySQL是一個關系型資料庫,它采用表的形式來存盤資料。你可以理解成是Excel表格,既然是表的形式存盤資料,就有表結構(行和列)。行代表每一行資料,列代表該行中的每個值。列上的值是有資料型別的,比如:整數、字串、日期等等。 資料庫的三大范式 第一范式1NF 確保資料庫表欄位的原 ......

    uj5u.com 2023-04-25 09:29:15 more
  • 【Jmeter】按比例分配Api壓測

    先看 【Jmeter】基礎介紹-詳細 【Jmeter】Request1輸出作為Request2輸入-后置處理器 繼續聊提出的第二個問題,即 2.需要按比例分配API請求并發,以模擬真實的API壓力場景 做壓測的時候,一般的需求都是多個API同時壓,不然也看不出真正的tps是多少啊。 比如雖然介面a的 ......

    uj5u.com 2023-04-25 09:22:32 more
  • Springboot啟動原理和自動配置原理

    放本地檔案夾都快吃土了,準備清理檔案夾,關于Springboot的! 啟動原理 @SpringBootApplication public class Start { public static void main(String[] args) { SpringApplication.run(Sta ......

    uj5u.com 2023-04-25 08:05:03 more
  • OpenAI ChatGPT 能取代多少程式員的作業?導致失業嗎?

    閱讀原文:https://bysocket.com/openai-chatgpt-vs-developer/ ChatGPT 能取代多少程式員的作業?導致我們程式員失業嗎?這是一個很好的話題,我這里分享下: 一、ChatGPT 是什么?有什么作用 ChatGPT是一種基于人工智能技術的語言模型,是可 ......

    uj5u.com 2023-04-25 08:04:57 more
  • 自定義Python版本ESL庫訪問FreeSWITCH

    環境:CentOS 7.6_x64Python版本:3.9.12FreeSWITCH版本 :1.10.9 一、背景描述 ESL庫是FreeSWITCH對外提供的介面,使用起來很方便,但該庫是基于C語言實作的,Python使用該庫的話需要使用原始碼進行編譯。如果使用系統自帶的Python版本進行編譯,過 ......

    uj5u.com 2023-04-25 08:04:42 more
  • Rust編程語言入門之高級特性

    高級特性 主要內容 不安全 Rust 高級 Trait 高級 型別 高級函式和閉包 宏 一、不安全 Rust 匹配命名變數 隱藏著第二個語言,它沒有強制記憶體安全保證:Unsafe Rust(不安全的 Rust) 和普通的 Rust 一樣,但提供了額外的“超能力” Unsafe Rust 存在的原因: ......

    uj5u.com 2023-04-25 08:04:32 more