主頁 > .NET開發 > 在Windows中的另一個執行緒上異步啟動和取消I/O的無競爭方式

在Windows中的另一個執行緒上異步啟動和取消I/O的無競爭方式

2021-12-07 00:52:47 .NET開發

背景:一般來說,如果我們想強制一個操作異步發生(避免阻塞主執行緒),使用FILE_FLAG_OVERLAPPED是不夠的,因為操作仍然可以同步完成。

因此,讓我們說,為了避免這種情況,我們將操作推遲到專用于 I/O 的作業執行緒。這避免了阻塞主執行緒。

現在主執行緒可以CancelIoEx(HANDLE, LPOVERLAPPED)用來取消由作業執行緒發起(比如通過ReadFile的 I/O 操作

但是,為了CancelIoEx成功,主執行緒需要一種方法來保證操作實際上已經開始,否則沒有什么可以取消的。

這里顯而易見的解決方案是讓作業執行緒呼叫 egReadFile回傳設定一個事件,但這現在讓我們回到原來的問題:因為ReadFilecan 阻塞,我們將失去在作業執行緒中使用作業執行緒的全部目的首先,這是為了確保主執行緒不會在 I/O 上被阻塞。

解決這個問題的“正確”方法是什么?是否有一種好方法可以實際強制 I/O 操作異步發生,同時仍然能夠在 I/O 尚未完成時以無競爭的方式請求取消?

我唯一能想到的就是設定一個計時器,以便CancelIoEx在 I/O 尚未完成時定期呼叫,但這看起來非常難看。有更好/更強大的解決方案嗎?

uj5u.com熱心網友回復:

你通常需要做下一步:

  • 用于異步 I/O 的每個檔案句柄都封裝到某個 c/c 物件中(讓它命名IO_OBJECT

  • 這個物件需要有參考計數

  • 在開始異步 I/O 操作之前 - 您需要分配另一個物件,該物件存盤參考的指標 和特定 io 資訊中封裝OVERLAPPEDIO_STATUS_BLOCK(讓它命名IO_IRP- I/O 代碼(讀取、寫入等)緩沖指標,..IO_IRPIO_OBJECT

  • 檢查 I/O 操作的回傳碼以確定,將是 I/O 回呼(資料包排隊到 iocp 或 apc)或如果操作失敗(將是無回呼) - 僅使用錯誤代碼自行呼叫回呼

  • I/O 管理器保存您在IRP結構 ( UserApcContext ) 中傳遞給 I/O 的指標, 并在 I/O 完成時將其傳回給您(如果使用 win32 api,此指標等于指向 OVERLAPPED 的指標,以防本機 api - 您可以自行指導控制這個指標)

  • 當 I/O 結束時(如果開始時不是同步失敗) - 將呼叫具有最終 I/O 狀態的回呼

  • 在這里你得到了指向IO_IRP( OVERLAPPED) 的指標- 呼叫方法 IO_OBJECT并釋放它參考,洗掉IO_IRP

  • 如果您在某個時候可以提前關閉物件句柄(不在解構式中) - 實作一些失效保護,以便在關閉后不訪問句柄

  • 失效保護與弱參考非常相似,不幸的是沒有用戶模式 ??api,但不難自己實作

從任何執行緒,如果你有指向你的物件的指標(當然是參考),你可以呼叫CancelIoEx或關閉物件句柄 - 如果檔案有 IOCP,當檔案的最后一個句柄關閉時 - 所有 I/O 操作都將被取消。但是對于關閉 - 您不需要CloseHandle直接呼叫而是開始運行并CloseHandle在運行完成時呼叫(在某些ReleaseRundownProtection呼叫中(這是演示名稱,沒有這樣的 api)

一些最小的典型實作:

class __declspec(novtable) IO_OBJECT 
{
    friend class IO_IRP;

    virtual void IOCompletionRoutine(
        ULONG IoCode, 
        ULONG dwErrorCode, 
        ULONG dwNumberOfBytesTransfered, 
        PVOID Pointer) = 0;
    
    void AddRef();
    void Release();

    HANDLE _hFile = 0;
    LONG _nRef = 1;
    //...
};


class IO_IRP : public OVERLAPPED 
{
    IO_OBJECT* _pObj;
    PVOID Pointer;
    ULONG _IoCode;
    
    IO_IRP(IO_OBJECT* pObj, ULONG IoCode, PVOID Pointer) : 
        _pObj(pObj), _IoCode(IoCode), Pointer(Pointer)
    {
        pObj->AddRef();
    }
    
    ~IO_IRP()
    {
        _pObj->Release();
    }
    
    VOID CALLBACK IOCompletionRoutine(
        ULONG dwErrorCode,
        ULONG dwNumberOfBytesTransfered,
        )
    {
        _pObj->IOCompletionRoutine(_IoCode, 
            dwErrorCode, dwNumberOfBytesTransfered, Pointer);

        delete this;
    }

    static VOID CALLBACK FileIOCompletionRoutine(
        ULONG status,
        ULONG dwNumberOfBytesTransfered,
        LPOVERLAPPED lpOverlapped
        )
    {
        static_cast<IO_IRP*>(lpOverlapped)->IOCompletionRoutine(
            RtlNtStatusToDosError(status), dwNumberOfBytesTransfered);
    }

    static BOOL BindIoCompletion(HANDLE hObject)
    {
        return BindIoCompletionCallback(hObject, FileIOCompletionRoutine, 0));
    }
    
    void CheckErrorCode(ULONG dwErrorCode)
    {
        switch (dwErrorCode)
        {
        case NOERROR:
        case ERROR_IO_PENDING:
            return ;
        }
        IOCompletionRoutine(dwErrorCode, 0);
    }
    
    void CheckError(BOOL fOk)
    {
        return CheckErrorCode(fOk ? NOERROR : GetLastError());
    }
};


///// start some I/O // no run-downprotection on file

if (IO_IRP* irp = new IO_IRP(this, 'some', 0))
{
    irp->CheckErrorCode(ReadFile(_hFile, buf, cb, 0, irp));
}

///// start some I/O // with run-downprotection on file

if (IO_IRP* irp = new IO_IRP(this, 'some', 0))
{
    ULONG dwError = ERROR_INVALID_HANDLE;
    
    if (AcquireRundownProtection())
    {
        dwError = ReadFile(_hFile, buf, cb, 0, irp) ? NOERROR : GetLastError();
        ReleaseRundownProtection();
    }
    
    irp->CheckErrorCode(dwError);
}

一些更完整的實作


但是,為了CancelIoEx成功,主執行緒需要一種方法來保證操作實際上已經開始,否則沒有什么可以取消的。

是的,盡管您可以隨時安全地呼叫CancelIoEx,即使檔案上沒有活動的 I/O,事實上另一個執行緒可以在您呼叫之后開始新的 I/O 操作CancelIoEx通過此呼叫,您可以取消當前已知的單啟動操作。例如 - 您開始連接ConnectEx和更新 UI(啟用取消按鈕)。ConnectEx完成-你交的訊息UI(禁用取消按鈕)。如果用戶按取消直到 I/O ( ConnectEx) 本地 - 您呼叫CancelIoEx- 結果連接將被取消或正常完成。如果周期性操作(例如ReadFile在回圈中) - 通常CancelIoEx不是停止此類回圈的正確方法。相反,你需要打電話CloseHandle 來自控制執行緒 - 有效取消檔案中的所有當前 I/O。


about how ReadFile and any asynchronous I/O api work and are we can force faster return from api call.

  1. I/O manager check input parameter, convert handles (file handle to FILE_OBJECT) to pointers, check permissions, etc. if some error on this stage - error returned for caller and I/O finished
  2. I/O manager call driver. driver (or several drivers - top driver can pass request to another) handle I/O request (IRP) and finally return to I/O manager. it can return or STATUS_PENDING, which mean that I/O still not completed or complete I/O (call IofCompleteRequest) and return another status. any status other than STATUS_PENDING mean that I/O completed (with success, error or canceled, but completed)
  3. I/O mahager check for STATUS_PENDING and if file opened for synchronous I/O (flag FO_SYNCHRONOUS_IO ) begin wait in place, until I/O completed. in case file opened for asynchronous I/O - I/O manager by self never wait and return status for caller, including STATUS_PENDING

we can break wait in stage 3 by call CancelSynchronousIo. but if wait was inside driver at stage 2 - impossible break this wait in any way. any Cancel*Io* or CloseHandle not help here. in case we use asynchronous file handle - I/O manager never wait in 3 and if api call wait - it wait in 2 (driver handler) where we can not break wait.

as resutl - we can not force I/O call on asynchronous file return faster. if driver under some condition will be wait.

and more - why we can not break driver wait, but can stop I/O manager wait. because unknown - how, on which object (or just Sleep), for which condition driver wait. what will be if we break thread wait before contidions meet.. so if driver wait - it will be wait. in case I/O manager - he wait for IRP complete. and for break this wait - need complete IRP. for this exist api, which mark IRP as canceled and call driver callback (driver must set this callback in case it return before complete request). driver in this callback complete IRP, this is awaken I/O manager from wait (again it wait only on synchrnous files) and return to caller

also very important not confuse - end of I/O and end of api call. in case synchronous file - this is the same. api returned only after I/O completed. but for asynchronous I/O this is different things - I/O can still be active, after api call is return (if it return STATUS_PENDING or ERROR_IO_PENDING for win32 layer).

we can ask for I/O complete early by cancel it. and usually (if driver well designed) this work. but we can not ask api call return early in case asynchronous I/O file. we can not control when, how fast, I/O call (ReadFile in concrete case) return. but can early cancel I/O request after I/O call (ReadFile) return . more exactly after driver return from 2 and because I/O manager never wait in 3 - can say that I/O call return after driver return control.


if one thread use file handle, while another can close it, without any synchronization - this of course lead to raice and errors. in best case ERROR_INVALID_HANDLE can returned from api call, after another thread close handle. in worst case - handle can be reused after close and we begin use wrong handle with undefined results. for protect from this case need use handle only inside run-down protection (similar to convert weak reference to strong ). demo implementation:

class IoObject
{
    HANDLE _hFile = INVALID_HANDLE_VALUE;
    LONG _lock = 0x80000000;

public:
    HANDLE LockHandle() 
    {
        LONG Value, PreviousValue;

        if (0 > (Value = _lock))
        {
            do 
            {
                PreviousValue = InterlockedCompareExchangeNoFence(&_lock, Value   1, Value);

                if (PreviousValue == Value) return _hFile;

            } while (0 > (Value = PreviousValue));
        }
    
        return 0;
    }

    void UnlockHandle()
    {
        if (InterlockedDecrement(&_lock) == 0)
        {
            _hFile = 0; // CloseHandle(_hFile)
        }
    }

    void Close()
    {
        if (LockHandle())
        {
            _interlockedbittestandreset(&_lock, 31);
            UnlockHandle();
        }
    }

    void WrongClose()
    {
        _hFile = 0; // CloseHandle(_hFile)
    }

    BOOL IsHandleClosed()
    {
        return _hFile == 0;
    }
};

ULONG WINAPI WorkThread(IoObject* pObj)
{
    ULONG t = GetTickCount();
    int i = 0x1000000;
    do 
    {
        if (HANDLE hFile = pObj->LockHandle())
        {
            SwitchToThread(); // simulate delay

            if (pObj->IsHandleClosed())
            {
                __debugbreak();
            }

            pObj->UnlockHandle();
        }
        else
        {
            DbgPrint("[%x]: handle closed ! (%u ms)\n", GetCurrentThreadId(), GetTickCount() - t);
            break;
        }
    } while (--i);

    return 0;
}

ULONG WINAPI WorkThreadWrong(IoObject* pObj)
{
    ULONG t = GetTickCount();
    int i = 0x10000000;
    do 
    {
        if (pObj->IsHandleClosed())
        {
            DbgPrint("[%x]: handle closed ! (%u ms)\n", GetCurrentThreadId(), GetTickCount() - t);
            break;
        }
        
        SwitchToThread(); // simulate delay

        if (pObj->IsHandleClosed())
        {
            __debugbreak();
        }

    } while (--i);

    return 0;
}

void CloseTest()
{
    IoObject obj;

    ULONG n = 8;
    do 
    {
        if (HANDLE hThread = CreateThread(0, 0x1000, (PTHREAD_START_ROUTINE)WorkThread, &obj, 0, 0))
        {
            CloseHandle(hThread);
        }
    } while (--n);

    Sleep(50);
//#define _WRONG_
#ifdef _WRONG_
    obj.WrongClose();
#else
    obj.Close();
#endif
    MessageBoxW(0,0,0,0);
}

with WrongClose(); call we permanent will be catch __debugbreak() (use after close) in WorkThread[Wrong]. but with obj.Close(); and WorkThread we must never catch exception. also note that Close() is lock-free and caller of it never wait/hang even if api call inside rundown-protection will wait.

轉載請註明出處,本文鏈接:https://www.uj5u.com/net/374108.html

標籤:C 异步 登录 重叠io

上一篇:在vanillaJavaScript中單擊按鈕后如何將搜索欄div移動到頁面頂部

下一篇:Redux工具包AsyncThunk:無法讀取未定義的屬性

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • WebAPI簡介

    Web體系結構: 有三個核心:資源(resource),URL(統一資源識別符號)和表示 他們的關系是這樣的:一個資源由一個URL進行標識,HTTP客戶端使用URL定位資源,表示是從資源回傳資料,媒體型別是資源回傳的資料格式。 接下來我們說下HTTP. HTTP協議的系統是一種無狀態的方式,使用請求/ ......

    uj5u.com 2020-09-09 22:07:47 more
  • asp.net core 3.1 入口:Program.cs中的Main函式

    本文分析Program.cs 中Main()函式中代碼的運行順序分析asp.net core程式的啟動,重點不是剖析原始碼,而是理清程式開始時執行的順序。到呼叫了哪些實體,哪些法方。asp.net core 3.1 的程式入口在專案Program.cs檔案里,如下。ususing System; us ......

    uj5u.com 2020-09-09 22:07:49 more
  • asp.net網站作為websocket服務端的應用該如何寫

    最近被websocket的一個問題困擾了很久,有一個需求是在web網站中搭建websocket服務。客戶端通過網頁與服務器建立連接,然后服務器根據ip給客戶端網頁發送資訊。 其實,這個需求并不難,只是剛開始對websocket的內容不太了解。上網搜索了一下,有通過asp.net core 實作的、有 ......

    uj5u.com 2020-09-09 22:08:02 more
  • ASP.NET 開源匯入匯出庫Magicodes.IE Docker中使用

    Magicodes.IE在Docker中使用 更新歷史 2019.02.13 【Nuget】版本更新到2.0.2 【匯入】修復單列匯入的Bug,單元測驗“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ......

    uj5u.com 2020-09-09 22:08:05 more
  • 在webform中使用ajax

    如果你用過Asp.net webform, 說明你也算是.NET 開發的老兵了。WEBform應該是2011 2013左右,當時還用visual studio 2005、 visual studio 2008。后來基本都用的是MVC。 如果是新開發的專案,估計沒人會用webform技術。但是有些舊版 ......

    uj5u.com 2020-09-09 22:08:50 more
  • iis添加asp.net網站,訪問提示:由于擴展配置問題而無法提供您請求的

    今天在iis服務器配置asp.net網站,遇到一個問題,記錄一下: 問題:由于擴展配置問題而無法提供您請求的頁面。如果該頁面是腳本,請添加處理程式。如果應下載檔案,請添加 MIME 映射。 WindowServer2012服務器,添加角色安裝完.netframework和iis之后,運行aspx頁面 ......

    uj5u.com 2020-09-09 22:10:00 more
  • WebAPI-處理架構

    帶著問題去思考,大家好! 問題1:HTTP請求和回傳相應的HTTP回應資訊之間發生了什么? 1:首先是最底層,托管層,位于WebAPI和底層HTTP堆疊之間 2:其次是 訊息處理程式管道層,這里比如日志和快取。OWIN的參考是將訊息處理程式管道的一些功能下移到堆疊下端的OWIN中間件了。 3:控制器處理 ......

    uj5u.com 2020-09-09 22:11:13 more
  • 微信門戶開發框架-使用指導說明書

    微信門戶應用管理系統,采用基于 MVC + Bootstrap + Ajax + Enterprise Library的技術路線,界面層采用Boostrap + Metronic組合的前端框架,資料訪問層支持Oracle、SQLServer、MySQL、PostgreSQL等資料庫。框架以MVC5,... ......

    uj5u.com 2020-09-09 22:15:18 more
  • WebAPI-HTTP編程模型

    帶著問題去思考,大家好!它是什么?它包含什么?它能干什么? 訊息 HTTP編程模型的核心就是訊息抽象,表示為:HttPRequestMessage,HttpResponseMessage.用于客戶端和服務端之間交換請求和回應訊息。 HttpMethod類包含了一組靜態屬性: private stat ......

    uj5u.com 2020-09-09 22:15:23 more
  • 部署WebApi隨筆

    一、跨域 NuGet參考Microsoft.AspNet.WebApi.Cors WebApiConfig.cs中配置: // Web API 配置和服務 config.EnableCors(new EnableCorsAttribute("*", "*", "*")); 二、清除默認回傳XML格式 ......

    uj5u.com 2020-09-09 22:15:48 more
最新发布
  • C#多執行緒學習(二) 如何操縱一個執行緒

    <a href="https://www.cnblogs.com/x-zhi/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2943582/20220801082530.png" alt="" /></...

    uj5u.com 2023-04-19 09:17:20 more
  • C#多執行緒學習(二) 如何操縱一個執行緒

    C#多執行緒學習(二) 如何操縱一個執行緒 執行緒學習第一篇:C#多執行緒學習(一) 多執行緒的相關概念 下面我們就動手來創建一個執行緒,使用Thread類創建執行緒時,只需提供執行緒入口即可。(執行緒入口使程式知道該讓這個執行緒干什么事) 在C#中,執行緒入口是通過ThreadStart代理(delegate)來提供的 ......

    uj5u.com 2023-04-19 09:16:49 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    <a href="https://www.cnblogs.com/huangxincheng/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/214741/20200614104537.png" alt="" /&g...

    uj5u.com 2023-04-18 08:39:04 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    一:背景 1. 講故事 前段時間協助訓練營里的一位朋友分析了一個程式卡死的問題,回過頭來看這個案例比較經典,這篇稍微整理一下供后來者少踩坑吧。 二:WinDbg 分析 1. 為什么會卡死 因為是表單程式,理所當然就是看主執行緒此時正在做什么? 可以用 ~0s ; k 看一下便知。 0:000> k # ......

    uj5u.com 2023-04-18 08:33:10 more
  • SignalR, No Connection with that ID,IIS

    <a href="https://www.cnblogs.com/smartstar/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/u36196.jpg" alt="" /></a>...

    uj5u.com 2023-03-30 17:21:52 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:15:33 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:13:31 more
  • C#遍歷指定檔案夾中所有檔案的3種方法

    <a href="https://www.cnblogs.com/xbhp/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/957602/20230310105611.png" alt="" /></a&...

    uj5u.com 2023-03-27 14:46:55 more
  • C#/VB.NET:如何將PDF轉為PDF/A

    <a href="https://www.cnblogs.com/Carina-baby/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2859233/20220427162558.png" alt="" />...

    uj5u.com 2023-03-27 14:46:35 more
  • 武裝你的WEBAPI-OData聚合查詢

    <a href="https://www.cnblogs.com/podolski/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/616093/20140323000327.png" alt="" /><...

    uj5u.com 2023-03-27 14:46:16 more