• 一文了解.Net的CLR、GC記憶體管理

  微軟官方檔案對記憶體管理和CLR的概述

  • 什么是托管代碼？

    • 托管代碼就是執行程序交由運行時管理的代碼， 在這種情況下，相關的運行時稱為公共語言運行時 (CLR)，不管使用的是哪種實作（例如 Mono、.NET Framework 或 .NET Core/.NET 5+）， CLR 負責提取托管代碼、將其編譯成機器代碼，然后執行它， 除此之外，運行時還提供多個重要服務，例如自動記憶體管理、安全邊界、型別安全，等等，
    • 托管代碼是使用可在 .NET 上運行的一種高級語言（例如 C#、Visual Basic、F# 等）撰寫的， 使用相應的編譯器編譯以這些語言撰寫的代碼時，無法獲得機器代碼， 而是獲得 中間語言 代碼，然后運行時會對其進行編譯并將其執行，

  • 什么是中間語言？

    • 中間語言是編譯使用高級 .NET 語言撰寫的代碼后獲得的結果，對使用其中一種語言撰寫的代碼進行編譯后，即可獲得 IL 所生成的二進制代碼，
    • 從高級代碼生成 IL 后，你很有可能想要運行它， CLR 此時將接管作業，啟動 實時 (JIT) 編譯程序，或者將代碼從 IL 實時 編譯成可以真正在 CPU 上運行的機器代碼， 這樣，CLR 就能確切地知道代碼的作用，并可以有效地 管理 代碼，
    • 中間語言有時也稱為公共中間語言 (CIL) 或 Microsoft 中間語言 (MSIL)，

  • 自動記憶體管理

    自動記憶體管理是公共語言運行時在托管執行程序中提供的服務之一， 公共語言運行時的垃圾回收器為應用程式管理記憶體的分配和釋放，

    • 分配記憶體

      • 初始化新行程時，運行時會為行程保留一個連續的地址空間區域，但是這個記憶體其實是虛擬的連續記憶體的，在物理記憶體上記憶體在物理上不一定連續的，這個保留的地址空間被稱為托管堆， 托管堆維護著一個指標，用它指向將在堆中分配的下一個物件的地址，

    • 釋放記憶體(GC如何表示物件需要回收、GC執行的流程？)

      • 垃圾回收器的優化引擎根據所執行的分配決定執行回收的最佳時間， 垃圾回收器在執行回收時，會釋放應用程式不再使用的物件的記憶體， 它通過檢查應用程式的根來確定不再使用的物件，垃圾回收器需要選定一系列的起點根(root)以保證物件的遍歷，提供給垃圾回收器創建有向參考圖的根，每次回收都會從根觸發去遍歷物件圖中所有被參考的物件并標記，然后是清理和壓縮未被參考的物件，
      • 為了改進性能，運行時為單獨堆中的大型物件分配記憶體， 垃圾回收器會自動釋放大型物件的記憶體， 但是，為了避免移動記憶體中的大型物件，不會壓縮此記憶體，

  • 托管堆的級別和觸發回收的時機

    為優化垃圾回收器的性能，將托管堆分為三代：第 0 代、第 1 代和第 2 代，運行時的垃圾回收器將新物件存盤在第 0 級中， 在應用程式生存期的早期創建的物件如果未被回收，則被升級并存盤在第 1 級和第 2 級中， GC的回識訓制是通過檢查掃描根參考和標記來進行確定回收的，這個根也稱為GC根，執行第 1 代 GC 時，將同時回收第 1 代和第 0 代， 執行第 2 代 GC 時，將回收整個堆， 因此，第 2 代 GC 還可稱為“完整 GC”，

    • 第 0 代執行回收的時機

      垃圾回收器在第 0 級托管堆已滿時執行回收， 如果應用程式在第 0 級托管堆已滿時嘗試新建物件，垃圾回收器將會發現第 0 級托管堆中沒有可分配給該物件的剩余地址空間， 垃圾回收器執行回收，嘗試為物件釋放第 0 級托管堆中的地址空間， 垃圾回收器從檢查第 0 級托管堆中的物件（而不是托管堆中的所有物件）開始執行回收，

    • 第 1 代物件的創建和執行回收時機

      垃圾回收器執行第 0 級托管堆的回收后，會壓縮可訪問物件的記憶體，垃圾回收器升級這些物件，并考慮第 1 代托管堆的這一部分物件， 因為未被回收的物件往往具有較長的生存期，所以將它們升級至更高的級別很有意義， 因此，垃圾回收器在每次執行第 0 代托管堆的回收時，不必重新檢查第 1 代和第 2 代托管堆中的物件，

    • 第 2 代 物件的創建和執行回收時機

      圾回收器執行第 1 代托管堆的回收后，會壓縮可訪問物件的記憶體，垃圾回收器升級這些物件，并考慮第 2 代托管堆的這一部分物件，第 2 代托管堆中未被回收的物件會繼續保留在第 2 代托管堆中，直到在將來的回收中確定它們無法訪問為止，大型物件堆上的物件（有時稱為 第 3 代）也在第 2 代中收集，

    • 垃圾回收器的優化引擎會決定是否需要檢查較舊的級別中的物件

      如果第 0 級托管堆的回收沒有回收足夠的記憶體，不能使應用程式成功完成創建新物件的嘗試，垃圾回收器就會先執行第 1 級托管堆的回收，然后再執行第 2 級托管堆的回收， 如果這樣仍不能回收足夠的記憶體，垃圾回收器將執行第 2、1 和 0 級托管堆的回收， 每次回收后，垃圾回收器都會壓縮第 0 級托管堆中的可訪問物件并將它們升級至第 1 級托管堆， 第 1 級托管堆中未被回收的物件將會升級至第 2 級托管堆， 由于垃圾回收器只支持三個級別，因此第 2 級托管堆中未被回收的物件會繼續保留在第 2 級托管堆中，直到在將來的回收中確定它們為無法訪問為止，

    • 非托管資源的記憶體釋放

      對于應用程式創建的大多數物件，可以依賴垃圾回收器自動執行必要的記憶體管理任務， 但是，非托管資源需要顯式清除， 最常用的非托管資源型別是包裝作業系統資源的物件，例如，檔案句柄、視窗句柄或網路連接， 雖然垃圾回收器可以跟蹤封裝非托管資源的托管物件的生存期，但卻無法具體了解如何清理資源， 創建封裝非托管資源的物件時，建議在公共 Dispose 方法中提供必要的代碼以清理非托管資源， 通過提供 Dispose 方法，物件的用戶可以在使用完物件后顯式釋放其記憶體，

  • 85kb的劃分是指淺層物件還是深層物件？

    假如我們現在有一個物件Order物件如下定義，那么我們的order是應該在第0代還是在大物件堆呢？
    答案是在第0代，但是OrderItems是在大物件堆中的，所以85kb的只計算了淺層物件的大小，不計算物件的深層大小，

    public class Progarm{
      public static void main(){
        var order=new Order();// 0代
      }
    }
    public class Order {
      public OrderItem OrderItems{get private set;}=[5000];//>85kb位元組 3代
    }
    public class OrderItem{
      public string ProductId{get; private set;}
    }
    

  • 垃圾回收

    • 基礎

      • 優點

        • 開發人員不必手動釋放記憶體，
        • 有效分配托管堆上的物件，
        • 回收不再使用的物件，清除它們的記憶體，并保留記憶體以用于將來分配， 托管物件會自動獲取干凈的內容來開始，因此，它們的建構式不必對每個資料欄位進行初始化，
        • 通過確保物件不能使用另一個物件的內容來提供記憶體安全，

      • 垃圾回收的條件

        • 系統具有低的物理記憶體， 這是通過 OS 的記憶體不足通知或主機指示的記憶體不足檢測出來，
        • 由托管堆上已分配的物件使用的記憶體超出了可接受的閾值， 隨著行程的運行，此閾值會不斷地進行調整，
        • 呼叫GC.Collect方法， 幾乎在所有情況下，你都不必呼叫此方法，因為垃圾回收器會持續運行， 此方法主要用于特殊情況和測驗，

      • 垃圾回收程序中會有哪些操作？

        在垃圾回收啟動之前，除了觸發垃圾回收的執行緒，其它以外的所有托管執行緒都會被掛起，下圖微軟官方檔案演示了觸發垃圾回收并導致其他執行緒掛起的執行緒，
        
        • 標記階段，找到并創建所有活動物件的串列，
        • 重定位階段，用于更新對將要壓縮的物件的參考，
        • 壓縮階段，用于回收由死物件占用的空間，并壓縮幸存的物件， 壓縮階段將垃圾回收中幸存下來的物件移至段中時間較早的一端，因為第 2 代回收可以占用多個段，所以可以將已提升到第 2 代中的物件移動到時間較早的段中， 可以將第 1 代幸存者和第 2 代幸存者都移動到不同的段，因為它們已被提升到第 2 代，
        • 垃圾回收器使用以下資訊來確定物件是否為活動物件：
          • 堆疊根， 由實時 (JIT) 編譯器和堆疊查看器提供的堆疊變數， JIT 優化可以延長或縮短報告給垃圾回收器的堆疊變數內的代碼的區域，
          • 垃圾回收句柄， 指向托管物件且可由用戶代碼或公共語言運行時分配的句柄，
          • 靜態資料， 應用程式域中可能參考其他物件的靜態物件， 每個應用程式域都會跟蹤其靜態物件，

    • CLR中垃圾回收的分類

      從 .NET Framework 4.5 開始，后臺垃圾回收可用于服務器 GC， 服務器 GC 是服務器垃圾回收的默認模式，后臺作業區域垃圾回收使用一個專用的后臺垃圾回收執行緒，而后臺服務器垃圾回收使用多個執行緒， 通常一個邏輯處理器有一個專用執行緒，不同于作業站后臺垃圾回收執行緒，這些后臺服務器 GC 執行緒不會超時，
      
      

    • 作業站垃圾回收

      作業站垃圾回收 (GC) 是為客戶端應用設計的， 它是獨立應用的默認 GC 風格，對于托管應用（例如由 ASP.NET 托管的應用），由主機確定默認 GC 風格，作業站垃圾回收既可以是并發的，也可以是非并發的， 并發（或后臺 ）垃圾回收使托管執行緒能夠在垃圾回收期間繼續操作，后臺垃圾回收替換 .NET Framework 4 及更高版本中的并行垃圾回收， 作業站垃圾回收使用用于只有一個處理器的計算機，

    • 服務器垃圾回收

      • 服務器垃圾回收主要用于需要高吞吐量和可伸縮行的服務器應用程式例如（WebApi）這種，在.Net Core和Framework4.5之后的版本中，服務器垃圾回收既可以是非并發也可以是后臺執行的，
      • 服務垃圾回識訓為每個CPU提供一個用于執行垃圾回收的一個堆和專用執行緒，并能同時回收這些堆，每個堆都包含一個小物件堆和一個大物件堆，并且所有的堆都可由用戶代碼訪問， 不同堆上的物件可以相互參考，
      • 因為多個垃圾回收執行緒一起作業，所以對于相同大小的堆，服務器垃圾回收比作業站垃圾回收更快一些，
      • 服務器垃圾回收通常具有更大的段， 但是，這是通常情況：段大小特定于實作且可能更改， 調整應用程式時，不要假設垃圾回收器分配的段大小，
      • 服務器垃圾回識訓占用大量資源， 例如，假設在一臺有 4 個處理器的計算機上，運行著 12 個使用服務器 GC 的行程， 如果所有行程碰巧同時回收垃圾，它們會相互干擾，因為將在同一個處理器上調度 12 個執行緒， 如果行程處于活動狀態，則最好不要讓它們都使用服務器 GC，

    • 并行垃圾回收

      • 并發垃圾回收通過最大程度地減少因回收引起的暫停，使互動應用程式能夠更快地回應， 在運行并發垃圾回收執行緒的大多數時間，托管執行緒可以繼續運行， 此設計使得在發生垃圾回收時的暫停時間更短，
      • 并發垃圾回收在一個專用執行緒上執行， 默認情況下，CLR 將運行作業站垃圾回收，并在單處理器和多處理器計算機上同時啟用并發垃圾回收，
      • 

    • 前臺和后臺的垃圾回收區別

      垃圾回收分為前臺和后臺所謂的后臺回收是指 （gen2這一代所需要回收的物件還有大物件堆，大物件堆不會compact）那么前臺回收說的就是gen0和gen1這一代所需要回收的物件了，

      • 前臺垃圾回收

        發生前臺垃圾回收的時候所有的托管執行緒會處于掛起階段，也就是說這個時候是GC執行緒執行的階段，其他執行緒不處理任務，另外就是前臺的垃圾回收也是由后臺垃圾回收執行緒去執行的，它是這么做的如果后臺垃圾回收的執行緒在檢測是否有前臺發起垃圾回收指令，如果收到了就掛起后臺的垃圾回收的執行緒，執行前臺的垃圾回收的執行緒，在前臺垃圾回收完成之后，專用的后臺垃圾回收執行緒和用戶執行緒將繼續，

      • 后臺垃圾回收

        后臺垃圾回收可以消除并發垃圾回收所帶來的分配限制，因為在后臺垃圾回收期間，可發生暫時垃圾回收， 后臺垃圾回收可以洗掉暫存世代中的死物件，如果需要，它還可以在第1代垃圾回收期間擴展堆，

  • 大物件堆(LOH)和小物件堆分別是什么？

    加載 CLR 時，GC 分配兩個初始堆段：一個用于小型物件（小型物件堆或 SOH），一個用于大型物件（大型物件堆），通過將托管物件置于這些托管堆段上來滿足分配請求， 如果該物件小于 85kb，則將它置于 SOH 的段上，否則，將它置于 LOH 段， 觸發垃圾回收后，GC 將尋找存在的物件并將它們壓縮， 但是由于壓縮費用很高，GC 會掃過 LOH，列出沒有被清除的物件串列以供以后重新使用，從而滿足大型物件的分配請求， 相鄰的被清除物件將組成一個自由物件，用戶代碼只能在第 0 代（小型物件）或 LOH（大型物件）中分配，只有 GC 可以在第 1 代（通過提升第 0 代回收未處理的物件）和第 2 代（通過提升第 1 代和第 2 代回收未處理的物件）中“分配”物件，
    • .Net GC將需要回收的物件分為了大物件堆和小物件堆，如果是大物件的話那么它的某些特性比小物件顯得更為重要，例如復制一個物件到記憶體堆的其他位置的性能消耗會相當高，因此GC 會直接將大物件放置到大物件堆上面，大物件和小物件的區分默認是以85kb來作為區分，這個數字是可改的，
    • 小物件一般是指第0代和第1代中的物件，這類物件在GC 回收的時候執行效率會很高，所以為了優化GC 回收器的性能所以才會區分代數，大多數物件都會通過第 0 代GC 回收進行回收，所以不會保留到下一代，大物件堆的回收時機是隨著2代GC 回收而執行，2代GC也是完整GC，

    • 大物件堆在什么情況會啟動垃圾回收？

      • 分配超出第0代或者大物件閥值，
      • 呼叫GC.Collect方法，
      • 系統處于記憶體不足的狀況下同樣也會回收，

    • 為什么會存在大物件堆？

      • 分配成本，
      • 回收成本，
      • 具有參考型別的陣列元素，

  • GC / IDisposable / 解構式三者的關系？

    • GC是負責管理托管資源的記憶體的，它負責不存在參考地址物件的記憶體，
    • 解構式和IDisposable的介面的區別：析構是沒有執行順序的，解構式的執行時機無法確定，所以官方給提供了IDisposable的介面，讓開發人員可以在代碼中顯示的呼叫Dispose釋放方法，

  • 記憶體溢位如何發現和解決？

標籤：.NET技术

上一篇：[博客園首發] 寫連載博客，歷時1410天出版書籍《物聯網軟體架構設計與實作》

下一篇：opencvsharp踩坑DAY2--影像增強illuminate