主頁 > 後端開發 > “GIL”如何影響帶有i/o系結任務的Pythonasyncio`run_in_executor`?

“GIL”如何影響帶有i/o系結任務的Pythonasyncio`run_in_executor`?

2021-12-23 23:35:04 後端開發

關于Python ayncio 的這個代碼示例 run_in_executor

import asyncio
import concurrent.futures

def blocking_io():
    # File operations (such as logging) can block the
    # event loop: run them in a thread pool.
    with open('/dev/urandom', 'rb') as f:
        return f.read(100)

def cpu_bound():
    # CPU-bound operations will block the event loop:
    # in general it is preferable to run them in a
    # process pool.
    return sum(i * i for i in range(10 ** 7))

async def main():
    loop = asyncio.get_running_loop()

    ## Options:

    # 1. Run in the default loop's executor:
    result = await loop.run_in_executor(
        None, blocking_io)
    print('default thread pool', result)

    # 3. Run in a custom process pool:
    with concurrent.futures.ProcessPoolExecutor() as pool:
        result = await loop.run_in_executor(
            pool, cpu_bound)
        print('custom process pool', result)

asyncio.run(main())

該示例(在注釋中)建議使用 運行 i/o 系結函式ThreadPoolExecutor,使用ProcessPoolExecutor. 我想通過三個問題來驗證我對這背后原因的理解:

  1. 這些建議并不是真正的建議,否則事件回圈會阻塞。因此,我們將失去事件編程的主要好處,對嗎?

  2. 作為單獨的執行緒運行 io/bound 任務,需要以下假設:i/o 呼叫將釋放 GIL,對嗎?因為除此之外,作業系統將無法在事件回圈和這個新的單獨執行緒之間進行背景關系切換。

  3. 如果第 2 點的答案是肯定的,那么如何確定 i/o 呼叫是否釋放了 GIL?

uj5u.com熱心網友回復:

這些建議并不是真正的建議,否則事件回圈會阻塞。因此,我們將失去事件編程的主要好處,對嗎?

如果您在協程中呼叫阻塞(I/O 和 CPU 阻塞)函式而不等待執行程式,則事件回圈將阻塞。在這方面,是的,您不應該允許這種情況發生。

我的建議是,對于每種型別的阻塞代碼,它都是一種執行器:將 ProcessPoolExecutor 用于 CPU 系結的東西,將 ThreadPoolExecutor 用于 I/O 系結的東西。

作為單獨的執行緒運行 io/bound 任務,需要以下假設:i/o 呼叫將釋放 GIL,對嗎?因為除此之外,作業系統將無法在事件回圈和這個新的單獨執行緒之間進行背景關系切換。

當談到多執行緒時,Python 將在很短的時間內在執行緒之間切換而不釋放 GIL。但是如果一個或多個執行緒有 I/O(或 C 代碼),那么 GIL 將被釋放,允許解釋器花更多時間在需要它的執行緒上。

底線是:

  • 您可以在 executor 中運行任何阻塞代碼,它不會阻塞事件回圈。您獲得并發性,但可能會或可能不會獲得性能。
  • 例如,如果您在 ThreadPoolExecutor 中運行受 CPU 限制的代碼,由于 GIL,您將不會從并發中獲得性能優勢。要獲得 CPU 密集型內容的性能,您應該使用 ProcessPoolExecutor。
  • 但是 I/O-bound 可以在 ThreadPoolExecutor 中運行并且您可以獲得性能。這里沒有必要使用更重的 ProcessPoolExecutor。

我寫了一個例子來演示它是如何作業的:

import sys
import asyncio
import time
import concurrent.futures
import requests
from contextlib import contextmanager

process_pool = concurrent.futures.ProcessPoolExecutor(2)
thread_pool = concurrent.futures.ThreadPoolExecutor(2)


def io_bound():
    for i in range(3):
        requests.get("https://httpbin.org/delay/0.4")  # I/O blocking
        print(f"I/O bound {i}")
        sys.stdout.flush()


def cpu_bound():
    for i in range(3):
        sum(i * i for i in range(10 ** 7))  # CPU blocking
        print(f"CPU bound {i}")
        sys.stdout.flush()


async def run_as_is(func):
    func()


async def run_in_process(func):
    loop = asyncio.get_event_loop()
    await loop.run_in_executor(process_pool, func)


async def run_in_thread(func):
    loop = asyncio.get_event_loop()
    await loop.run_in_executor(thread_pool, func)


@contextmanager
def print_time():
    start = time.time()
    yield
    finished = time.time() - start
    print(f"Finished in {round(finished, 1)}\n")


async def main():
    print("Wrong due to blocking code in coroutine,")
    print(
        "you get neither performance, nor concurrency (which breaks async nature of the code)"
    )
    print("don't allow this to happen")
    with print_time():
        await asyncio.gather(run_as_is(cpu_bound), run_as_is(io_bound))

    print("CPU bound works concurrently with threads,")
    print("but you gain no performance due to GIL")
    with print_time():
        await asyncio.gather(run_in_thread(cpu_bound), run_in_thread(cpu_bound))

    print("To get perfromance for CPU-bound,")
    print("use process executor")
    with print_time():
        await asyncio.gather(run_in_process(cpu_bound), run_in_process(cpu_bound))

    print("I/O bound will gain benefit from processes as well...")
    with print_time():
        await asyncio.gather(run_in_process(io_bound), run_in_process(io_bound))

    print(
        "... but there's no need in processes since you can use lighter threads for I/O"
    )
    with print_time():
        await asyncio.gather(run_in_thread(io_bound), run_in_thread(io_bound))

    print("Long story short,")
    print("Use processes for CPU bound due to GIL")
    print(
        "and use threads for I/O bound since you benefit from concurrency regardless of GIL"
    )
    with print_time():
        await asyncio.gather(run_in_thread(io_bound), run_in_process(cpu_bound))


if __name__ == "__main__":
    asyncio.run(main())

輸出:

Wrong due to blocking code in coroutine,
you get neither performance, nor concurrency (which breaks async nature of the code)
don't allow this to happen
CPU bound 0
CPU bound 1
CPU bound 2
I/O bound 0
I/O bound 1
I/O bound 2
Finished in 5.3

CPU bound works concurrently with threads,
but you gain no performance due to GIL
CPU bound 0
CPU bound 0
CPU bound 1
CPU bound 1
CPU bound 2
CPU bound 2
Finished in 4.6

To get perfromance for CPU-bound,
use process executor
CPU bound 0
CPU bound 0
CPU bound 1
CPU bound 1
CPU bound 2
CPU bound 2
Finished in 2.5

I/O bound will gain benefit from processes as well...
I/O bound 0
I/O bound 0
I/O bound 1
I/O bound 1
I/O bound 2
I/O bound 2
Finished in 3.3

... but there's no need in processes since you can use lighter threads for I/O
I/O bound 0
I/O bound 0
I/O bound 1
I/O bound 1
I/O bound 2
I/O bound 2
Finished in 3.1

Long story short,
Use processes for CPU bound due to GIL
and use threads for I/O bound since you benefit from concurrency regardless of GIL
CPU bound 0
I/O bound 0
CPU bound 1
I/O bound 1
CPU bound 2
I/O bound 2
Finished in 2.9

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/391052.html

標籤:Python 多线程 异步等待 蟒蛇异步

上一篇:SwiftUI:初始值設定項中沒有標簽/字串但帶有ButtonStyle的按鈕

下一篇:返回列表

標籤雲
其他(132612) Python(22497) Java(14396) JavaScript(14000) C(10703) 區塊鏈(7994) AI(6690) 基礎類(6313) 腳本語言(PerlPython)(5129) MySQL(5007) 非技術區(4971) Android(4180) Linux(3978) PHP(3521) C語言(3288) C#(3266) 爪哇(3168) C++語言(3117) html(2917) Java相關(2746) 疑難問題(2699) sql(2665) 單片機工控(2479) 数组(2477) R(2476) 熊猫(2415) 反应(2096) Web開發(1951) VBA(1797) 網絡通信(1793) css(1788) 數據庫相關(1767) VB基礎類(1755) 数据框(1730) 节点.js(1684) 開發(1646) ASP.NET(1642) .NETCore(1631) 系統維護與使用區(1617) 基礎和管理(1579) JavaEE(1566) C++(1562) 蟒蛇-3.x(1535) 專題技術討論區(1515) HtmlCss(1494) Windows客戶端使用(1484) 列表(1403) Unity3D(1365) json(1362) VCL組件開發及應用(1353) iOS(1318) .NET技术(1298) 安卓(1280) Qt(1262) 打字稿(1225) HTML(CSS)(1220) 其他技術討論專區(1200) 查询(1199) WindowsServer(1195) 扑(1194)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • “GIL”如何影響帶有i/o系結任務的Pythonasyncio`run_in_executo

    關于Python ayncio 的這個代碼示例: run_in_executorimport asyncioimport concurrent.futuresdef blocking_io(): # File operations (such as logging) can block the...

    uj5u.com 2021-12-23 23:35:04 more
  • SwiftUI:初始值設定項中沒有標簽/字串但帶有ButtonStyle的按鈕

    SwiftUI 有一些Button初始值設定項,但所有這些初始值設定項都需要 aString或some View作為引數與action.但是,按鈕的外觀也可以在ButtonStyles的幫助下進行自定義,s 可以為其添...

    uj5u.com 2021-12-23 23:23:07 more
  • 在表格單元格角度顯示更多/更少按鈕

    我有墊表,我制作了一個按鈕,如果長度 > 某個數字
    ,則隱藏/取消隱藏表格單元格中的文本,但它作業不正確,此按鈕打開每個單元格中的所有文本,按鈕僅適用于第一個單元格 <ng-containe...

    uj5u.com 2021-12-23 23:18:48 more
  • 單擊時如何避免選擇primeng按鈕?

    我正在使用來自primeng 的普通按鈕,這些按鈕在單擊時會被“選中”。當我說“選擇”時,我的意思是在它們周圍出現一些額外的線,如果我點擊任何地方,這個“選擇”就會消失。由于我...

    uj5u.com 2021-12-23 23:17:51 more
  • 如何使用seleniumpython查找包含特定字串的所有按鈕?

    我想在頁面上找到所有包含“卡片”或“包”一詞的按鈕。例如,它可以是“添加到卡片”或“添加到包”或“卡片”等。from selenium import webdriver from selenium.webdriver...

    uj5u.com 2021-12-23 23:16:57 more
  • 單擊移至下一頁的按鈕時出錯

    當我單擊按鈕時,會發生這種情況:https://i.stack.imgur.com/PeAAG.png該按鈕用于在用戶填充時從 searchView 獲取值。并為打開下一個活動。點擊: String state; SearchView sea...

    uj5u.com 2021-12-23 23:16:04 more
  • 你如何制作一個并排的可折疊按鈕?

    所以我是使用 html 的新手,我一直在學習 W3 學校,他們給你這個可折疊的例子,但無論我做什么,它們都會堆疊并打開,我希望它們并排打開,接下來顯示的內容相反,我將如何做到這一點?...

    uj5u.com 2021-12-23 23:14:50 more
  • Tkinter按鈕未顯示所需文本

    我的 Tkinter 在 python 中的代碼有問題。我正在制作一個將 DNA 鏈轉錄為 RNA 的程式。我的輸出應該是我放入條目但轉錄為 RNA 的鏈,例如...輸入 = ACGTAGCT,輸出 UGCAUCGA(DNA...

    uj5u.com 2021-12-23 23:13:40 more
  • 如何在ReactNative中僅使用一個onChange來管理多個用戶輸入?

    如何在 React Native 上僅使用一個 onChange 處理多個文本輸入?例如:姓名、年齡、國籍、眼睛顏色。另外,如何只用一個按鈕保存所有輸入?(我想在同一個“專案”中輸出一個包含所有...

    uj5u.com 2021-12-23 23:12:30 more
  • 無法在python中修改全域變數

    from tkinter import *import timecheck = Falsewindow = Tk()window.geometry("1920x1080")def typeTime(): hour = int(time.strftime("%H")) minute = int(time....

    uj5u.com 2021-12-23 23:11:34 more