主頁 > 後端開發 > 行程、執行緒、協程

行程、執行緒、協程

2020-10-24 18:36:59 後端開發

 先來欣賞一段有趣的漫畫對話哦

 

     ————— 第二天 —————

 

 

 

 

 

 

 

 ——————————————————

 

 

 

 

 


 

什么事行程和執行緒

有一定基礎的小伙伴們肯定都知道行程和執行緒,

行程是什么呢?

直白地講,行程就是應用程式的啟動實體,比如我們運行一個游戲,打開一個軟體,就是開啟了一個行程,

行程擁有代碼和打開的檔案資源、資料資源、獨立的記憶體空間,

執行緒又是什么呢?

執行緒從屬于行程,是程式的實際執行者,一個行程至少包含一個主執行緒,也可以有更多的子執行緒,

執行緒擁有自己的堆疊空間,

有了行程為什么還需要執行緒

因為行程不能同一時間只能做一個事情

什么是執行緒

執行緒是作業系統調度的最小單位

執行緒是行程正真的執行者,是一些指令的集合(行程資源的擁有者)

同一個行程下的讀多個執行緒共享記憶體空間,資料直接訪問(資料共享)

為了保證資料安全,必須使用執行緒鎖

GIL全域解釋器鎖

在python全域解釋器下,保證同一時間只有一個執行緒運行

防止多個執行緒都修改資料

執行緒鎖(互斥鎖)

GIL鎖只能保證同一時間只能有一個執行緒對某個資源操作,但當上一個執行緒還未執行完畢時可能就會釋放GIL,其他執行緒就可以操作了

執行緒鎖本質把執行緒中的資料加了一把互斥鎖

mysql中共享鎖 & 互斥鎖

mysql共享鎖:共享鎖,所有執行緒都能讀,而不能寫

mysql排它鎖:排它,任何執行緒讀取這個這個資料的權利都沒有

加上執行緒鎖之后所有其他執行緒,讀都不能讀這個資料

有了GIL全域解釋器鎖為什么還需要執行緒鎖

因為cpu是分時使用的

死鎖定義

兩個以上的行程或執行緒在執行程序中,因爭奪資源而造成的一種互相等待的現象,若無外力作用,它們都將無法推進下去

 行程和執行緒的痛點

執行緒之間是如何進行協作的呢?

最經典的例子就是生產者/消費者模式

若干個生產者執行緒向佇列中寫入資料,若干個消費者執行緒從佇列中消費資料,

應用程式像工廠,行程像車間,執行緒像工人

一個行程中的執行緒可以在不同cpu上執行,一個執行緒不能同時在兩個cpu上執行

python中有一個全域解釋器鎖(GIL global interpreter lock),他就像一把鎖所在行程上,保證同一時刻,一個行程中無論有多少執行緒,只能保證有一個執行緒出來

隨著cpu核數的增加,python中可以創建多個行程,一個行程中有一個全域解釋器,這樣一個cpu跑一個行程,一個行程同一時刻只能出一個執行緒,達到并行的目的

執行緒和行程的區別 :

執行緒是可以共享記憶體的,而行程不可以共享記憶體,一個行程就像一個應用程式,例如qq和淘寶,這屬于兩個行程,在QQ中發資訊肯定不會發到淘寶中,但是在qq中存在很多的執行緒,他們可以共享記憶體,他們都屬于一個行程,

假如eclipse在運行時占中400M的記憶體空間,那么這個行程下的執行緒的共享空間為這個主行程所占用的記憶體空間,就是eclipse的執行緒的記憶體共享就為400M

執行緒沒有辦法單獨執行,執行緒必須在行程中

多行程之間的通信:

多行程之間無法直接通信,它必須借助一個第三方的橋梁

1 佇列

from multiprocessing import Process, Queue 
def f(q,n): 
    q.put([ n, 'hello']) 
if __name__ == '__main__':
    q = Queue()
?for i in range(5): 
        p = Process(target=f, args=(q,i)) 
        p.start() 
        print q.get() 

執行緒的安全問題,假如現在有十個執行緒,同時修改一個變數,讓這個變數+1,那么會出現一個問題,假如A執行緒正在修改變數,現在變數為m=2,A執行緒操作m,目的是讓A+1,然而A修改到一半的時候,執行緒B又進來了,執行緒B此時取的m的值也是2,A修改完了m=3,B修改完了m還是等于3 ,非常不安全

解決辦法,就是加一把鎖,形象的例子:

假如現在有10個人要上廁所,鑰匙在我手里,這個時候A進來,他把門關上了,別人就進不去,只有等A完事后其他人才能進來,這個門就是控制執行緒的那把鎖

代碼實作就通過一個lock來實作,lock 只允許一個執行緒訪問

lock=threading.Lock()

lock.acquire()

lock.release()

代碼如下

val=0    #全域變數

def run(self,):
    #lock.acquire()
    time.sleep(1)
    global val 
    lock.acquire()
    val+=1
    print '%s' %val
    lock.release()        //這個地方執行完了必須relese,讓后面的執行緒繼續執行,否則后面無法執行
lock=threading.Lock()
for i in range(100):
    t=threading.Thread(target=run,args=(i,))
    t.start()

假如一個廁所門里有兩個坑,允許兩個人同時上廁所,即允許兩個執行緒同時修改變數,那么用samp

samp = threading.BoundedSemaphore(3)

samp.acquire()

samp.release()

當引數為1時,實際上就等于lock

val=0    #全域變數

def run(self,):
    #lock.acquire()
    time.sleep(1)
    global val 
    samp.acquire()
    val+=1
    print '%s' %val
    samp.release()
lock=threading.Lock()
samp = threading.BoundedSemaphore(3)
for i in range(100):
    t=threading.Thread(target=run,args=(i,))
    t.start()

全域變數和區域變數

全域變數是在方法之外定義的變數,方法內部不能修改全域變數

例如 val=0 #全域變數

def run(self,n)

val+=1

程式會報錯,方法內不能直接就該全域變數

在假如 val=0 #全域變數

def run(self,n)

val=1

print val

輸出結果會是1,這是為什么呢,應為此時函式內部的val與全域變數val并不是一個,函式內部的 val是區域變數,函式外部的val為全域變數

假如 執行c=run(‘haha’)

print val

會輸出 0

1

假如要在函式內重新定義區域變數

必須在函式中重新宣告全域變數

val=0   #全域變數

    def run(self,n)

       global val

        val=1

       print val 

join() 執行到join時,例如執行到join(3)然后就在這個地方等待三秒,

from threading import Thread
import time
class MyThread(Thread):
    def run(self):
        time .sleep(5)
        print '我是執行緒'
def bar():
    print 'bar'
t1=MyThread(target=bar )
t1.start()
t1.join(3)
print ‘over'

采用面向類的生產者消費者模型

#_*_ coding:utf-8 _*_

from threading import Thread 
from Queue import Queue
import time
class Producer(Thread):
    def __init__(self,name,queue):
        self.__name=name
        self.__queue=queue
        super(Producer,self).__init__()                 #重寫了父類的方法
    def run(self):
        while True:
            if self.__queue.full():
                time.sleep(1)
            else :
                self.__queue.put('baozi')
                time.sleep(1)
                print '%s生產了一個包子'%(self.__name)
class consumer(Thread): def __init__(self,name,queue): self.__name=name self.__queue=queue super(consumer,self).__init__() def run(self): while True: if self.__queue.empty(): time.sleep(1) else : self.__queue.get() time.sleep(1) print '%s 消費一個包子'%(self.__name,) que =Queue(maxsize=100) baozi_make1=Producer('mahzongyi',que) baozi_make1.start() baozi_make2=Producer('mahzongyi1',que) baozi_make2.start() baozi_make3=Producer('mahzongyi2',que) baozi_make3.start() for item in range(20): name = 'lazup%d'%(item) temp=consumer(name,que) temp.start()

上面的代碼正確地實作了生產者/消費者模式,但是卻并不是一個高性能的實作,為什么性能不高呢?原因如下:

1.涉及到同步鎖,

2.涉及到執行緒阻塞狀態和可運行狀態之間的切換,

3.涉及到執行緒背景關系的切換,

以上涉及到的任何一點,都是非常耗費性能的操作,

 

 

 


 

什么事協程

協程,英文Coroutines,是一種比執行緒更加輕量級的存在,正如一個行程可以擁有多個執行緒一樣,一個執行緒也可以擁有多個協程,

協程微執行緒,纖程,本質是一個單執行緒

協程能在單執行緒處理高并發

執行緒遇到I/O操作會等待、阻塞,協程遇到I/O會自動切換(剩下的只有CPU操作)

執行緒的狀態保存在CPU的暫存器和堆疊里而協程擁有自己的空間,所以無需背景關系切換的開銷,所以快、

為甚么協程能夠遇到I/O自動切換

協程有一個gevent模塊(封裝了greenlet模塊),遇到I/O自動切換

協程缺點

無法利用多核資源:協程的本質是個單執行緒,它不能同時將 單個CPU 的多個核用上,協程需要和行程配合才能運行在多CPU上

執行緒阻塞(Blocking)操作(如IO時)會阻塞掉整個程式

 

最重要的是,協程不是被作業系統內核所管理,而完全是由程式所控制(也就是在用戶態執行),

這樣帶來的好處就是性能得到了很大的提升,不會像執行緒切換那樣消耗資源,

既然協程這么好,它到底是怎么來使用的呢?

我們來看一看python當中對協程的實作案例,同樣以生產者消費者模式為例:

 

 這段代碼十分簡單,即使沒用過python的小伙伴應該也能基本看懂,

代碼中創建了一個叫做consumer的協程,并且在主執行緒中生產資料,協程中消費資料,

其中 yield 是python當中的語法,當協程執行到yield關鍵字時,會暫停在那一行,等到主執行緒呼叫send方法發送了資料,協程才會接到資料繼續執行,

但是,yield讓協程暫停,和執行緒的阻塞是有本質區別的,協程的暫停完全由程式控制,執行緒的阻塞狀態是由作業系統內核來進行切換,

因此,協程的開銷遠遠小于執行緒的開銷,

 

 

協程的應用

有哪些編程語言應用到了協程呢?我們舉幾個栗子:

Lua語言

Lua從5.0版本開始使用協程,通過擴展庫coroutine來實作,

Python語言

正如剛才所寫的代碼示例,python可以通過 yield/send 的方式實作協程,在python 3.5以后,async/await 成為了更好的替代方案,

Go語言

Go語言對協程的實作非常強大而簡潔,可以輕松創建成百上千個協程并發執行,

Java語言

如上文所說,Java語言并沒有對協程的原生支持,但是某些開源框架模擬出了協程的功能,有興趣的小伙伴可以看一看Kilim框架的原始碼:

https://github.com/kilim/kilim

 

 

 

 

詳細介紹請閱讀我的分類Python基礎下的《Python三程三器的那些事》

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/189230.html

標籤:Python

上一篇:樹莓派點亮LED燈需要幾行代碼?3行。小孩子都能學會

下一篇:這 100 道 Python 題,拿去刷!!!

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more