主頁 > 後端開發 > 服務器開發基礎-Tcp/Ip網路模型—完成埠(Completion Port)模型

服務器開發基礎-Tcp/Ip網路模型—完成埠(Completion Port)模型

2021-06-09 15:38:15 後端開發

本文對于初學網路編程的極為友好,文中所有代碼全部基于C語言實作,文中見解僅限于作者對于完成埠的初步認識,由于作者才疏學淺,出現的錯誤和紕漏,麻煩您一定要指出來,咱們共同進步,謝謝!!!


 

完成埠(completion Port)

 

前言:

網路通信分為兩種:同步和異步,

  在同步通信中,每一次接受資料都會導致主執行緒的掛起,從而阻塞住了其他操作,為了解決這一問題,我們通常會采取同步通信+多執行緒的策略,即為每一個連入的Socket分配一個執行緒,然而隨著連入的Socket的數量的增加,執行緒的數量也在增加,這樣CPU則需要不停地進行執行緒的切換,因此難以成為高性能的服務器程式,
  異步通信則可以把接收資料這一操作交給內核,即在內核接收資料的時候,主執行緒可以不用被阻塞并且繼續執行其他操作,而一旦接收資料完成以后,再由內核通知主執行緒,而如何通知主執行緒是一個關鍵,不同的異步通信策略有著不同的通知方式,
  在這樣的情況下,完成埠這一I/O模型被提出,成為目前Windows下性能最好的I/O模型之一,

 (注:文中所有函式引數均已MSDN上的為標準,文中觀點僅代表個人理解,如有錯誤,還請多多包涵并及時留言,我會第一時間改正,謝謝!!!)

完成埠模型簡介:

上面所說的“初學”指你已經熟悉Socket進行TCP/IP編程的基本原理,前期基本的概念我這里就略過不提了,直入主題,

嗯~~!怎么說呢,完成埠是Windows的一種機制,這種機制是在重疊IO上的優化,所以說完成埠也是基于重疊結構的,換句話說如果對于重疊IO結構特別熟悉的話,那么完成埠對于你來說就特別簡單,為什么說完成埠是在重疊IO上的一種優化呢?對比一下下面第一張和第二轉張結構圖,一定會有人好奇,為什么兩張圖差不多一樣呢?仔細看會發現完成埠結構圖里面作業系統有一步操作是將通知放進佇列(第三張結構圖,模仿訊息佇列原理系統會創建一個通知佇列),到這就可以說明完成埠在重疊IO具體優化的是什么了,熟悉重疊IO的都知道,重疊IO最嚴重的問題就是執行緒數量,有多少的客戶端,那就得有多少根執行緒,肯定會有人說執行緒多了不是更好嗎?速度跟快嗎?程式執行時間更短碼?那就錯了,恰恰是相反的,上面我也大致提到了執行緒太多的問題,了解作業系統的都知道,執行緒在一個周期內分得的時間越多,那么執行就越快,換而言之如果執行緒數量增加,那么每根執行緒上所分得的時間就會變短,再加上切換執行緒的時間,這樣一來反而時間更久,而理論上最優的執行緒數就是和CPU核數一樣(還有其他的幾種:CPU核數*2、CPU核數*2+2,為什么會有這幾種情況,這里就不多多介紹了,)這樣以來就可以充分的利用CPU資源,不過這也要求執行緒函式中沒有呼叫諸如Sleep(),WSAWaitForMultipleEvents()...這類函式,這類函式會使執行緒掛起(但不占cpu時間片),從而使得CPU某個核空閑了,這就不好了,所以一般我們多建個兩三根,以解決此類情況,讓CPU不停歇,從而在整體上保證程式執行效率,本文采取的是和CPU核數一樣多,而對于重疊IO中的無序性問題,完成埠采用了上述所說的創建一個通知佇列(第三張結構圖)來進行管理,從而達到有序,所以說完成埠是對重疊IO的改進也不為過,

    

完成埠原理以及部分函式用法:

1.CreateIoCompletionPort()函式創建一個完成埠,

對于 CreateIoCompletionPort()函式它有兩個功能一個功能是創建完成埠,另一個功能就是將SOCKET與完成埠進行系結,在這里就是創建完成埠,至于說功能不一樣,也就是引數不同而已,

 

 HANDLE WINAPI CreateIoCompletionPort(  
    __in      HANDLE  FileHandle,           
     __in_opt  HANDLE  ExistingCompletionPort, 
     __in      ULONG_PTR CompletionKey,       
     __in      DWORD NumberOfConcurrentThreads 
);  

 

引數(Parameters):

 

此函式若要是在不關聯I/O完成埠的情況下創建I/O完成埠,如果指定了引數FileHandleINVALID_HANDLE_VALUE,在這種情況下,ExistingCompletionPort引數必須為NULL,而CompletionKey引數則被忽略可填0;那么引數NumberOfConcurrentThreads是允許此埠上最多同時運行的執行緒數量,一般設定為零(這里的零并不是引數3中忽略的意思,而是自動獲取CPU核數,當然你也可以不用自動獲取自己去指定通過函式GetSystemInfo()),

(注:這里簡單介紹一下GetSystemInfo()函式的用法,這個函式也特別簡單,引數也就一個SYSTEM_INFO型別的結構體,在這里我們只需要專注這個結構體里面的DWORD dwNumberOfProcessors成員即可; )

回傳值(Return value):

函式執行成功會回傳一個可用的埠變數,否則回傳0;這里可以用GetLastError()獲取錯誤碼,
(注意:這里為什么不用WSAGetLastError()獲取錯誤碼?
創建完成埠是Windows的一種機制,不是專門用于網路的,和網路是無關的,完成埠的模型只是利用了這種機制,)

2.用 CreateIoCompletionPort()函式將重疊套接字(客戶端SOCKET+服務器SOCKET)與完成埠進行系結,

毋庸置疑這就是CreateIoCompletionPort()函式的第二個功能:系結重疊套接字與完成埠

 

 HANDLE WINAPI CreateIoCompletionPort(  
    __in      HANDLE  FileHandle,           
     __in_opt  HANDLE  ExistingCompletionPort, 
     __in      ULONG_PTR CompletionKey,       
     __in      DWORD NumberOfConcurrentThreads 
);  

引數(Parameters):

FileHandle:要系結的SOCKET,
ExistingCompletionPort:創建完成埠時回傳的變數,
CompletionKey:這個引數就要和下面即將講到的一個函式GetQueuedCompletionStatus()的引數3關聯在一起比較著看,會很清楚,
      先大概說一下GetQueuedCompletionStatus()這個函式,上面我也提到過系統會把所有SOCKET上的通知放進通知佇列里面,而GetQueuedCompletionStatus()
      
函式就是從這個佇列里面依次往外拿出通知然后進行分類處理,而CreateIoCompletionPort()函式的引數3就是告知函式GetQueuedCompletionStatus()
      佇列里面拿出的事件通知具體是哪一個SOCKET上的發生的,
所以這里的引數就是要傳入具體發生事件通知的SOCKET(如果是把所有的SOCKET裝進陣列里面的話,這里也可以傳具體SOCKET的下標),
NumberOfConcurrentThreads:如果引數ExistingCompletionPort不是NULL,則忽略此引數,可填0,

回傳值(Return value):

函式執行成功回傳自己,也就是再回傳引數2;如果執行不成功那肯定就不等于引數2了啊!

3.使用AcceptEx(),WSARecv(),WSASend()函式投遞請求,(這三個異步函式就偷個懶這里不過多的介紹了,因為是直接拿的重疊IO里面的函式,哈哈哈)

4.使用CreateThread()函式創建執行緒,使用GetSystemInfo()獲得作業系統相關資訊,比如獲取CPU核數,

(GetSystemInfo()數上文已經大致介紹了一下,和網路也沒有太大的關系這里就不詳細介紹了,想了解的可以看一下MSDN)

創建執行緒函式CreateThread()的功能就是一次創建一根執行緒,如果要創建多根執行緒,可以用回圈

 

HANDLE CreateThread(
  LPSECURITY_ATTRIBUTES   lpThreadAttributes,
  SIZE_T                  dwStackSize,
  LPTHREAD_START_ROUTINE  lpStartAddress,
  __drv_aliasesMem LPVOID lpParameter,
  DWORD                   dwCreationFlags,
  LPDWORD                 lpThreadId
);

引數(Parameters):

lpThreadAttributes:執行緒句柄是否被繼承,不繼承就填NULL,如果不繼承就是子執行緒與父執行緒共享一份執行緒句柄,相當于全域變數;
          如果繼承的話子類復制一份父類的此時就會有兩份,相當于區域變數自己用自己的;
          還有一個功能就是指定執行緒的權限,默認權限就填NULL,
          所以此引數填NULL就好,
dwStackSize:執行緒大小(堆疊區大小),填0,默認大小為1M,可以指定大小以位元組為單位,
lpStartAddress:執行緒函式地址;
        執行緒函式函式頭:DWORD WINAPI ThreadProc(LPVOID lpParameter); 這個函式的引數由函式CreateThread()的引數4傳入
lpParameter:外部給執行緒傳遞資料,把傳遞進來的資料傳遞給引數3中的執行緒函式中;
dwCreationFlags:執行緒創建出來的一種執行狀態;
         立即執行填0,也就是立即獲得時間片分得的時間;
         掛起狀態填CREATE_SUSPENDED(不占用時間周期),呼叫ResumeThread()函式,激活掛起狀態的執行緒,
         如果填STACK_SIZE_PARAM_IS_A_RESERVATION,這個宏是和引數2關聯在一起的,如果想修改堆疊區大小,
         設定了這個宏,引數2就是修改的堆疊保留大小,即虛擬記憶體上堆疊得大小;如果沒有設定修改的就是堆疊提交大小,即物理記憶體上的大小,
lpThreadId:執行緒ID,每根執行緒的ID都不一樣,不用就填NULL,

回傳值(Return value):

函式執行成功回傳執行緒句柄,失敗回傳NULL,可以用GetLastError()獲得錯誤碼,
執行緒句柄是內核物件,用完要釋放用CloseHandle()函式,

5.當系統異步處理完成后,會生成一個通知,這個通知就會放進通知佇列里面,而完成埠就可以理解為通知佇列的頭,該佇列由作業系統系統創建,維護,

6.通過GetQueuedCompletionStatus()函式從佇列頭一個一個往外拿,進行處理,

 如果通知佇列里沒有通知,那么會使執行緒處于掛起狀態,這樣就不會占用CPU時間, 

BOOL GetQueuedCompletionStatus(
  HANDLE       CompletionPort,
  LPDWORD      lpNumberOfBytesTransferred,
  PULONG_PTR   lpCompletionKey,
  LPOVERLAPPED *lpOverlapped,
  DWORD        dwMilliseconds
);

 

引數(Parameters):

CompletionPort:創建完成埠時回傳的變數,
lpNumberOfBytesTransferred:收到或發送的位元組數,如果是客戶端SOKCET發生事件通知并且此引數回傳的是0,那就說明是客戶端退出,
lpCompletionKey:在上面寫系結重疊套接字與完成埠的時候已經介紹到了此引數,這里就不過多說了,它就是接收系結完成埠的時候傳進來的SOCKET,
lpOverlapped:回傳一個發生事件通知的SOCKET上所系結的那個重疊結構的地址,
dwMilliseconds:等待時間,可以是具體的等待時間以毫秒為單位;也可以一直等到有事件通知為止,一直等填INFINITE,

回傳值(Return value):

 函式執行成功回傳TRUE,失敗回傳FALSE,可以用GetLastError()獲取錯誤碼,

 

完成埠代碼邏輯:

1.打開網路庫(WSAStartup())

2.校驗版本(副版本:HIBYTE()、主版本:LOBYTE())

3.創建SOCKET(WSASocket())

4.系結地址與埠號(bind())

5.創建完成埠(CreateIoCompletionPort())

6.將重疊套接字(客戶端SOCKET+服務器SOCKET)與完成埠進行系結(CreateIoCompletionPort())

7.開始監聽(listen())

8.創建執行緒(CreteThread())

9.獲取事件通知(GetQueuedCompletionPort())進行分類處理

10.釋放

 

 

 

 

 

 

 

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/285520.html

標籤:C

上一篇:基于SSL(TLS)的HTTPS網頁下載——如何撰寫健壯的可靠的網頁下載

下一篇:左值與右值

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more