本文首發于公眾號：Hunter后端
原文鏈接：celery筆記一之celery介紹、啟動和運行結果跟蹤
本篇筆記內容如下：
- celery 介紹
- celery 準備
- celery 啟動和異步任務的運行
- 運行結果跟蹤
1、celery 介紹
celery 大致有兩種應用場景，一種是異步任務，一種是定時任務，
比如說在一個介面請求中，某個函式執行所需的時間過長，而前端頁面并不是立刻需要在介面中獲取處理結果，可以將這個函式作為異步任務，先回傳給前端處理中的資訊，在后臺單獨運行這個函式，這就是異步任務，
另一個比如說某個函式需要每天晚上運行一遍，不可能人天天守著后臺手動執行一遍這個函式，那么就可以用 celery 來實作這個定時的周期任務，
接下來介紹一下 celery 的組成：
task
這個任務就是我們前面舉的例子的異步任務或者是定時任務，即為 task，我們可以定義這些任務，然后發送到 broker
broker
broker 可以理解成訊息中間件，用于獲取異步或者定時任務，形成一個或多個訊息佇列，然后發送給 worker 處理這些訊息
broker 的形式可以是 Redis，RabbitMQ 或者其他，這里我們使用 Redis 作為訊息中間件
worker
worker 是處理訊息的程式，獲取 broker 中的訊息，然后在 worker 中執行，然后根據配置決定將處理結果發送到 backend
result_backend
在 worker 處理完訊息之后會有 return 或者沒有回傳結果，都會根據配置將結果發送出來，可以配置成發送到 redis 中，也可以將之存盤到 database 中
beat
主要用于呼叫定時任務，根據設定好的定時任務，比如每天晚上十點執行某個函式，beat 則會在相應的時間將這個 task 發送給 broker，然后 worker 獲取任務進行處理
定時任務除了說的每天晚上十點這種周期任務，也可以是間隔任務，比如說每隔多少秒，多少分鐘執行一次
注意：異步任務的發送是不經過 beat 處理，直接發送給 broker 的
在上面的結構中，broker 需要將相應的服務比如 redis 運行起來，而 worker 和 beat 需要在手動用程式運行，而且每次更改了定時策略之后需要重新啟動 beat 和 worker 才能生效，
2、celery 準備
接下來我們實作一個最簡單的異步任務，在執行異步任務前，我們做如下的準備作業
1.安裝依賴
我們需要安裝一下 celery 和 redis 的依賴：
pip3 install celery==5.1.2 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install redis==3.5.3 -i https://mirrors.aliyun.com/pypi/simple/
2.訊息中間件
這里我們用到的訊息中間件是 redis，可以去官網下載一個 redis 啟動，也可以使用 docker 來執行安裝，
我在之前的 docker 系列筆記中有介紹過如何拉取鏡像和運行容器，我們這里直接使用 docker 來運行：
docker run -itd -p 6379:6379 redis:latest
3.異步任務準備
我們準備一個最簡單的 add() 函式，放在 tasks.py 檔案中：
# tasks.py
from celery import Celery
app = Celery('tasks', broker='redis://localhost/0', backend='redis://localhost/1')
@app.task
def add(x, y):
return x + y
在這段代碼里，我們引入 Celery 模塊，并將其實體化為 app，且配置了 broker 引數，表示訊息佇列都會被放在 redis 的第一個資料庫下
指定的 backend 引數則表示函式運行的結果被放在 redis 的第二個資料庫下
然后用 @app.task 修飾 add 函式，表示它是 app 下的 task 任務
以上，我們的準備作業就完成了，接下來嘗試運行這個異步任務
3、celery 啟動和異步任務的運行
說是 celery 的啟動，其實是 worker 的啟動，中間件是 redis，已經在前面的步驟中啟動了，
我們在 tasks.py 所在的檔案夾下執行下面的命令：
celery -A tasks worker -l INFO
在這里，tasks 是我們任務所在的檔案名，worker 表示啟動的是 worker 程式
-l INFO 則會在控制臺列印出 worker 接收到的訊息詳情，如果不執行，則資訊流不會被列印出來
執行了上面的程式后，可以看到控制臺會輸出下面這種資訊：
-------------- celery@localhost v5.1.2 (sun-harmonics)
--- ***** -----
-- ******* ---- Darwin-21.4.0-x86_64-i386-64bit 2022-07-17 23:56:09
- *** --- * ---
- ** ---------- [config]
- ** ---------- .> app: tasks:0x7fc8ddf3df98
- ** ---------- .> transport: redis://localhost:6379/0
- ** ---------- .> results: disabled://
- *** --- * --- .> concurrency: 12 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
-------------- [queues]
.> celery exchange=celery(direct) key=celery
[tasks]
. tasks.add
[2022-07-17 23:56:09,685: INFO/MainProcess] Connected to redis://localhost:6379/0
[2022-07-17 23:56:09,699: INFO/MainProcess] mingle: searching for neighbors
[2022-07-17 23:56:10,737: INFO/MainProcess] mingle: all alone
[2022-07-17 23:56:10,780: INFO/MainProcess] celery@localhost ready.
則表示 worker 啟動成功
執行異步任務
在另一個 shell 視窗，進入 python 的互動界面，輸入以下命令：
from tasks import add
res = add.delay(1,2)
add 是我們需要執行的異步任務的函式名
delay 是異步任務執行的特有方法，這個其實是 apply_async() 函式的簡便寫法，不帶任何引數，apply_async() 除了可以實作異步任務的功能，還可以指定多少時間后執行，比如說二十秒后執行，這個在后面的筆記中我們再介紹，
而異步任務的回傳我們這里用 res 來定義，它是一個包含了這個任務所有執行資訊物件，有任務狀態（是否執行成功），有回傳結果（add() 函式的return），還有這個 task 特有的標識 id等資訊
至此，我們的一個異步任務的執行就完成了，我們可以在下一步查看它的運行結果等資訊，
4、運行結果跟蹤
接下來，我們在 tasks.py 中建立下面幾個函式，來測驗我們對結果的跟蹤：
# tasks.py
import time
from celery import Celery
app = Celery('tasks', broker='redis://localhost/0', backend='redis://localhost/1')
@app.task
def add(x, y):
return x + y
@app.task
def div(x, y):
return x / y
@app.task
def test_not_finished():
time.sleep(30)
return True
然后重新運行 worker：
celery -A tasks worker -l INFO
然后引入和執行函式：
from tasks import add, div, test_not_finished
獲取延時任務的結果
res = add.delay(1, 2)
print(res.result)
# 也可以使用 get()
print(res.get())
get() 函式也可以加個超時的設定：
res.get(timeout=2)
但是這樣需要注意，因為如果超時了還未獲取到結果，程式就會報錯
判斷函式運行是否完成
print(res.ready())
列印出的結果為 True 則表示函式運行完成
我們可以測驗函式為完成的狀態：
res2 = test_not_finished.delay()
在這個函式里，我們設定了 30s 的休眠，所以在 30s 內我們列印結果可以看到 res2.ready() 是為 False 的：
print(res2.ready())
獲取task id
每個被執行的 task 都有各自對應的 id 作為它們的唯一鍵：
print(res.id)
查看任務執行的狀態
# 任務執行是否失敗，回傳 布爾型資料
is_failed = res.failed()
# 任務執行是否成功，回傳布爾型資料
is_successful = res.successful()
# 執行的任務所處的狀態
state = res.state
# state 的值會在 PENDING，STARTED，SUCCESS，RETRY，FAILURE 這幾種狀態中，分別是 待處理中，任務已經開始，成功，重試中，失敗
報錯處理
如果執行的延時任務在程式中報錯，比如我們定義的 div() 函式，我們傳入的除數為 0 的話，在程式中是會報錯的，我們使用 get() 來獲取結果的話程式是會報錯的：
res3 = div.delay(3, 0)
res3.get()
# 回傳會報錯
但是我們可以使用 propagate=False 引數來忽略程式的報錯:
res3.get(propagate=False)
這樣我們獲取的就不是程式報錯，而是程式報錯的資訊作為結果回傳
使用 res3.state 發現回傳的結果是 FAILURE
當延時任務在程式中報錯，它的回傳值就不會是正確的，我們可以通過 res3.traceback 是否有值來判斷函式運行程序中是有報錯：
if res3.traceback:
print("延時任務報錯")
else:
print("程式正常運行，可以獲取回傳值")
result資源釋放
因為 backend 會使用資源來保存和傳輸結果，為了確保資源被釋放，所以在執行完異步任務后，你必須對每一個結果呼叫 get() 或者 forget() 函式
result.get() 函式獲取結果
result.forget() 在 backend 刪掉該資料
在官方檔案上，意思是 get() 和 forget() 方法都可以釋放資源，但是經過我測驗，貌似只有 forget() 函式會釋放資源
查看是否資源被釋放也很簡單，登錄到對應的 backend，我這里是 redis，使用 redis-cli 或者通過 docker 進入 redis：
select 1
keys*
查看相應的 task id 是否還在串列就可以知道該資源是否被釋放
如果不想手動釋放資源，可以在配置里設定一個過期時間，那么結果就會在指定時間段后被釋放：
app.conf.update(result_expires=60)
這個我們可以在后面的配置里再詳細介紹，
以上就是本篇筆記全部內容，下一篇筆記我們將介紹如何建立一個 celery 專案、配置的幾種方法及一些基本的配置，
如果想獲取更多后端相關文章，可掃碼關注閱讀：
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/554063.html
標籤：其他
上一篇：驅動開發：內核決議PE結構節表
下一篇：返回列表