主頁 > 後端開發 > 一文掌握Python多執行緒與多行程

一文掌握Python多執行緒與多行程

2023-06-21 07:32:37 後端開發

Python的多執行緒和多行程

一、簡介

并發是今天計算機編程中的一項重要能力,尤其是在面對需要大量計算或I/O操作的任務時,Python 提供了多種并發的處理方式,本篇文章將深入探討其中的兩種:多執行緒與多行程,決議其使用場景、優點、缺點,并結合代碼例子深入解讀,

二、多執行緒

Python中的執行緒是利用threading模塊實作的,執行緒是在同一個行程中運行的不同任務,

2.1 執行緒的基本使用

在Python中創建和啟動執行緒很簡單,下面是一個簡單的例子:

import threading
import time

def print_numbers():
    for i in range(10):
        time.sleep(1)
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        time.sleep(1.5)
        print(letter)

thread1 = threading.Thread(target=print_numbers)
thread2 = threading.Thread(target=print_letters)

thread1.start()
thread2.start()

在這個例子中,print_numbersprint_letters函式都在各自的執行緒中執行,彼此互不干擾,

2.2 執行緒同步

由于執行緒共享記憶體,因此執行緒間的資料是可以互相訪問的,但是,當多個執行緒同時修改資料時就會出現問題,為了解決這個問題,我們需要使用執行緒同步工具,如鎖(Lock)和條件(Condition)等,

import threading

class BankAccount:
    def __init__(self):
        self.balance = 100  # 共享資料
        self.lock = threading.Lock()

    def deposit(self, amount):
        with self.lock:  # 使用鎖進行執行緒同步
            balance = self.balance
            balance += amount
            self.balance = balance

    def withdraw(self, amount):
        with self.lock:  # 使用鎖進行執行緒同步
            balance = self.balance
            balance -= amount
            self.balance = balance

account = BankAccount()

特別說明:Python的執行緒雖然受到全域解釋器鎖(GIL)的限制,但是對于IO密集型任務(如網路IO或者磁盤IO),使用多執行緒可以顯著提高程式的執行效率,

三、多行程

Python中的行程是通過multiprocessing模塊實作的,行程是作業系統中的一個執行物體,每個行程都有自己的記憶體空間,彼此互不影響,

3.1 行程的基本使用

在Python中創建和啟動行程也是非常簡單的:

from multiprocessing import Process
import os

def greet(name):
    print(f'Hello {name}, I am process {os.getpid()}')

if __name__ == '__main__':
    process = Process(target=greet, args=('Bob',))
    process.start()
    process.join()

3.2 行程間的通信

由于行程不共享記憶體,因此行程間通信(IPC)需要使用特定的機制,如管道(Pipe)、佇列(Queue)等,

from multiprocessing import Process, Queue

def worker(q):
    q.put('Hello from

 process')

if __name__ == '__main__':
    q = Queue()
    process = Process(target=worker, args=(q,))
    process.start()
    process.join()

    print(q.get())  # Prints: Hello from process

特別說明:Python的多行程對于計算密集型任務是一個很好的選擇,因為每個行程都有自己的Python解釋器和記憶體空間,可以并行計算,

One More Thing

讓我們再深入地看一下concurrent.futures模塊,這是一個在Python中同時處理多執行緒和多行程的更高級的工具,concurrent.futures

塊提供了一個高級的介面,將異步執行的任務放入到執行緒或者行程的池中,然后通過future物件來獲取執行結果,這個模塊使得處理執行緒和行程變得更簡單,

下面是一個例子:

from concurrent.futures import ThreadPoolExecutor, as_completed

def worker(x):
    return x * x

with ThreadPoolExecutor(max_workers=4) as executor:
    futures = {executor.submit(worker, x) for x in range(10)}
    for future in as_completed(futures):
        print(future.result())

這個代碼創建了一個執行緒池,并且向執行緒池提交了10個任務,然后,通過future物件獲取每個任務的結果,這里的as_completed函式提供了一種處理完成的future的方式,

通過這種方式,你可以輕松地切換執行緒和行程,只需要將ThreadPoolExecutor更改為ProcessPoolExecutor

無論你是處理IO密集型任務還是計算密集型任務,Python的多執行緒和多行程都提供了很好的解決方案,理解它們的運行機制和適用場景,可以幫助你更好地設計和優化你的程式,

如有幫助,請多關注
個人微信公眾號:【Python全視角】
TeahLead_KrisChang,10+年的互聯網和人工智能從業經驗,10年+技術和業務團隊管理經驗,同濟軟體工程本科,復旦工程管理碩士,阿里云認證云服務資深架構師,上億營收AI產品業務負責人,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/555659.html

標籤:其他

上一篇:驅動開發:基于事件同步的反向通信

下一篇:返回列表

標籤雲
其他(161362) Python(38243) JavaScript(25509) Java(18250) C(15238) 區塊鏈(8271) C#(7972) AI(7469) 爪哇(7425) MySQL(7259) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4606) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2436) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) HtmlCss(1968) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 一文掌握Python多執行緒與多行程

    # Python的多執行緒和多行程 ## 一、簡介 并發是今天計算機編程中的一項重要能力,尤其是在面對需要大量計算或I/O操作的任務時。Python 提供了多種并發的處理方式,本篇文章將深入探討其中的兩種:多執行緒與多行程,決議其使用場景、優點、缺點,并結合代碼例子深入解讀。 ## 二、多執行緒 Pyth ......

    uj5u.com 2023-06-21 07:32:37 more
  • 驅動開發:基于事件同步的反向通信

    在之前的文章中`LyShark`一直都在教大家如何讓驅動程式與應用層進行`正向通信`,而在某些時候我們不僅僅只需要正向通信,也需要反向通信,例如殺毒軟體如果驅動程式攔截到惡意操作則必須將這個請求動態的轉發到應用層以此來通知用戶,而這種通信方式的實作有多種,通常可以使用創建Socket套接字的方式實作... ......

    uj5u.com 2023-06-20 09:51:16 more
  • Go語言中的原子操作

    # 1. 引言 在并發編程中,多個協程同時訪問和修改共享資料時,如果沒有使用適當的機制來防止并發問題,這個時候可能導致不確定的結果、資料不一致性、邏輯錯誤等嚴重后果。 而原子操作是解決并發編程中共享資料訪問問題的一種常見機制。因此接下來的文章內容將深入介紹原子操作的原理、用法以及在解決并發問題中的應 ......

    uj5u.com 2023-06-20 09:46:11 more
  • springboot~http請求頭中如何放中文

    # Header基礎知識 HTTP 頭部(HTTP Header)是在 HTTP 請求和回應中用于傳遞附加資訊的部分。它由一個或多個欄位組成,每個欄位由欄位名和欄位值組成,中間用冒號分隔。 HTTP 頭部在請求和回應中都扮演著重要的角色,用于傳遞關于訊息的元資料和其他相關資訊。以下是一些常見的 HT ......

    uj5u.com 2023-06-20 09:46:06 more
  • 【python基礎】函式-模塊

    函式的優點之一是,使用它們可將代碼塊與主程式分離。通過給函式指定函式名稱,可讓主程式容易理解的多。我們還可以更加細化,將函式存盤在被稱為模塊的獨立檔案中,再將模塊匯入到主程式中。import關鍵字作用就是將模塊中的代碼匯入到當前主程式中。 通過將函式存盤在獨立的檔案中,可隱藏程式代碼細節,將重點放在 ......

    uj5u.com 2023-06-20 09:44:52 more
  • 【python基礎】函式-模塊

    函式的優點之一是,使用它們可將代碼塊與主程式分離。通過給函式指定函式名稱,可讓主程式容易理解的多。我們還可以更加細化,將函式存盤在被稱為模塊的獨立檔案中,再將模塊匯入到主程式中。import關鍵字作用就是將模塊中的代碼匯入到當前主程式中。 通過將函式存盤在獨立的檔案中,可隱藏程式代碼細節,將重點放在 ......

    uj5u.com 2023-06-20 09:43:47 more
  • springboot~http請求頭中如何放中文

    # Header基礎知識 HTTP 頭部(HTTP Header)是在 HTTP 請求和回應中用于傳遞附加資訊的部分。它由一個或多個欄位組成,每個欄位由欄位名和欄位值組成,中間用冒號分隔。 HTTP 頭部在請求和回應中都扮演著重要的角色,用于傳遞關于訊息的元資料和其他相關資訊。以下是一些常見的 HT ......

    uj5u.com 2023-06-20 09:42:58 more
  • Go語言中的原子操作

    # 1. 引言 在并發編程中,多個協程同時訪問和修改共享資料時,如果沒有使用適當的機制來防止并發問題,這個時候可能導致不確定的結果、資料不一致性、邏輯錯誤等嚴重后果。 而原子操作是解決并發編程中共享資料訪問問題的一種常見機制。因此接下來的文章內容將深入介紹原子操作的原理、用法以及在解決并發問題中的應 ......

    uj5u.com 2023-06-20 09:41:48 more
  • 驅動開發:基于事件同步的反向通信

    在之前的文章中`LyShark`一直都在教大家如何讓驅動程式與應用層進行`正向通信`,而在某些時候我們不僅僅只需要正向通信,也需要反向通信,例如殺毒軟體如果驅動程式攔截到惡意操作則必須將這個請求動態的轉發到應用層以此來通知用戶,而這種通信方式的實作有多種,通常可以使用創建Socket套接字的方式實作... ......

    uj5u.com 2023-06-20 09:36:13 more
  • JAVA SE基礎《一》----JAVA入門

    初識Java 1.Java背景知識 java是美國sun公司(Stanford University Network)在1995年推出的一門計算機高級編程語言。 Java早期稱為Oak(橡樹),后期改名為Java。 Java之父:詹姆斯·高斯林(James Gosling)。 2009年sun公司被 ......

    uj5u.com 2023-06-20 08:11:34 more