【文獻雜談】RAMpage 記憶體檢測器

[1]王小強. MEMDOG：一種基于Linux的在線記憶體檢測器[D].蘭州大學,2017.
[2]H. Schirmeier, J. Neuhalfen, I. Korb, O. Spinczyk and M. Engel, “RAMpage: Graceful Degradation Management for Memory Errors in Commodity Linux Servers,” 2011 IEEE 17th Pacific Rim International Symposium on Dependable Computing, 2011, pp. 89-98, doi: 10.1109/PRDC.2011.20.

RAMpage

RAMpage 的簡單理解，RAMpage 是基于x86-64的商用Linux服務器的在線記憶體測驗架構，能夠檢測記憶體錯誤并隔離影響的頁面，RAMpage方法不需要停機，允許用戶選擇記憶體測驗頻率和測驗方法，記憶體測驗程式在用戶空間中運行，只有物理記憶體的分配和性能退化的處理由內核模塊提供，

性能退化的處理的理解，在多處理器中CPU的遷移；在多記憶體條系統中，bank遷移；在網路鏈路中的路由表更新，

Linux本身所提供的記憶體測驗方法，Linux 實作了幾個相互冗余的框架，能夠處理硬體錯誤和不斷變化的系統配置：

1. EDAC：記錄ECC錯誤并重新測驗受影響的存盤單元，PCI奇偶校驗錯誤時，可以重復受影響的I/O傳輸；
2. Memory hotplugging；
3. hwpoison：適合的記憶體測驗器，該框架可以終止與出錯頁面相關聯的所有行程，組織進一步分配，可以洗掉記憶體頁，提供了新的分配頁面方法；

記憶體測驗方法，[6-10]

RAMpage的記憶體覆寫范圍，RAMpage 測驗框架只能對能夠寫入的記憶體（未被內核或其它應用程式使用）進行破壞性寫入測驗，現代類Unix系統傾向于將幾乎所有的物理記憶體都用于緩沖區快取和VM快取，不能對系統中所有的物理記憶體進行檢測：I/O設備中的DMA緩沖區是由設備驅動程式分配給外圍設備配置中的特定物理地址、內核所保留的記憶體，

RAMpage的內核模塊和用戶模塊，在內核模式中保留盡量少的功能（釋放和分配物理記憶體、禁用待檢測物理頁的cache），用戶空間實作了絕大多數功能（被測驗的頁面需要用戶使用系統呼叫請求，請求和映射物理頁、將好的記憶體回傳、標記壞的記憶體），用戶空間組件本身并不會執行記憶體測驗，而是設計一個靈活的記憶體測驗插件，該插件確定要測驗的物理頁數量并執行特定測驗，測驗程式只會盡可能多地進行測驗，但是不能保證其每次覆寫大量的物理記憶體，只會測驗總物理記憶體中的一小部分，否則會導致系統性能的惡劣下降，

1. 內核模塊：物理頁面分配、釋放、隔離，
2. 用戶空間：記憶體測驗組件行程，

在用戶空間的測驗組件中，回圈進行測驗，每次測驗都會請求一組物理頁面，由特定的記憶體測驗插件進行測驗，請求的頁面號被傳遞給內核模塊，該模塊獲得所有請求的頁面，

RAMpage 處理程序，將請求的頁面號串列傳遞給內核模塊(1)，該模塊從內核Frame claimer中獲得所請求的頁面，并將成功宣告的頁面串列回傳給測驗人員(2)，測驗人員使用標準的mmap系統呼叫將成功請求的頁面映射到其虛擬地址空間，測驗人員將頁面號串列傳遞給實作特定測驗演算法(b)的記憶體測驗插件，測驗完成后，測驗人員從測驗插件獲得一個結果串列，該串列指示測驗結果：成功檢測與檢測到錯誤?，成功測驗的頁面隨后使用munmap系統呼叫解除分配，而包含檢測到錯誤的頁面被傳遞給內核，標記為壞的，以免進一步分配，

ioctl 是設備驅動程式中設備控制介面函式，一個字符設備驅動通常會實作設備打開、關閉、讀、寫等功能，在一些需要細分的情境下，如果需要擴展新的功能，通常以增設 ioctl() 命令的方式實作，

RAMpage 是由德國多特蒙德工業大學計算機科學學院的 Horst Schirmeier 所在的團隊實作的 Linux 平臺上的在線記憶體檢測器，由于其檢測記憶體的操作實作在用戶空間，因此本文將 RAMpage 視為用戶空間的在線記憶體檢測器，RAMpage 作為 Linux 系統中的一個行程與 Linux 系統同時運行，它包括內核空間和用戶空間兩個部分，內核空間負責向作業系統申請記憶體，然后將申請到的記憶體提供給用戶空間部分以進行檢測，這樣做的原因是內核空間部分具有比用戶空間部分更高的優先級，可以獲取到用戶空間不能獲取的記憶體，用戶空間部分將內核空間部分獲取的記憶體映射到自己的虛擬地址空間中，然后采用特定的記憶體檢測演算法進行檢測， 值得一提的是 RAMpage 實作為一個記憶體檢測框架，使得軟體層面實作的記憶體檢測演算法可以作為一個插件輕易的整合到整個系統中，RAMpage 是一個開源軟體，

在線記憶體檢測機制

在線記憶體檢測機制是可以與作業系統同時運行的機制，它不會對其他程式使用的記憶體造成破壞，這些機制可以提前檢測空閑記憶體，防止已經發生錯誤的空閑記憶體將來被使用到，這是一種主動預防錯誤的方式，盡量避免作業系統和應用程式受到記憶體錯誤的影響，

1. 采用什么檢測演算法?

采用一種“破壞式”的記憶體檢測演算法”，首先向待檢測的記憶體中寫入資料，然后再從這塊記憶體中將資料讀出，如果讀出的資料與寫入的資料一致，就認為這塊記憶體中沒有發生錯誤，否則就認為這塊記憶體中發生了錯誤，

2. 如何不影響其它程式的運行？

在線記憶體檢測器只檢測它能夠獲取到的記憶體，一塊記憶體被一個行程申請得到后，其他行程便不能再使用這塊記憶體，除了記憶體共享的情況，在線記憶體檢測器在申請記憶體時就保證了申請到的記憶體是不會與其他行程所共享的，

3. 如何盡量多地檢測系統中的記憶體？

根據論文[2]的研究成果，在一個常見的配備了32GB記憶體的Linux服務器上，有25GB的記憶體被用來作為系統的快取，這些快取包括磁盤快取以及系統中的其他快取，再加上正在被行程使用的記憶體，能夠被檢測的記憶體寥寥無幾，如果在線記憶體檢測器實作在用戶空間，作業系統對應用程式使用記憶體數量的限制又是另一個障礙，如何檢測系統中被快取使用的記憶體？利用 Linux 的 hwpoison 子系統提供的機制可以對系統中的快取進行抖動，將這些記憶體進行釋放，使得后面的記憶體請求可以得到這些釋放的頁面，對于正在被其他行程使用的記憶體，Linux 提供的熱插拔模塊中的離線機制可以將其釋放，使將這些記憶體中的資料遷移到其他記憶體中，對于實作在用戶空間的記憶體檢測器，如果想突破作業系統對記憶體申請的限制，需要內核空間代碼的幫助，因為作業系統并沒有對內核空間申請記憶體的數量做出限制，這種方式在 RAMpage 中被用到，

RAMpage 處理流程

RAMpage 是在 Linux 平臺上實作的一個在線記憶體檢測器，它的基本作業原理是周期性地對系統中所有可以檢測地記憶體進行檢測，將檢測到包含錯誤的記憶體進行隔離，防止這些記憶體將來被使用到，

RAMpage 包括用戶空間和內核空間兩個部分，內核空間包括內核補丁和內核模塊，用戶空間部分地功能包括向內核模塊申請記憶體，對獲取的記憶體進行檢測，以及根據檢測結果選擇釋放記憶體或者將記憶體進行隔離，用戶空間程式通過 mmap 系統呼叫向內核模塊請求記憶體，即通過 mmap 將內核模塊獲取的記憶體映射到用戶空間，用戶空間的記憶體檢測插件對映射的記憶體進行檢測，之所以被稱為記憶體檢測插件，是因為 RAMpage 將記憶體檢測演算法部分實作為一個框架，在軟體層面實作的記憶體檢測演算法可以作為一個插件輕易地整合到這個框架中，極大地增加了 RAMpage 的可擴展性和靈活性，如果檢測插件沒有發現記憶體錯誤，就通過 munmap 系統呼叫解除記憶體映射，將記憶體釋放給內核模塊，并由內核模塊將記憶體釋放給作業系統，如果發現記憶體錯誤，用戶空間部分會通知內核模塊對發生錯誤的記憶體進行隔離，

RAMpage 內核補丁部分的主要功能是將內核提供的“解放”正在被使用記憶體機制的介面暴露給內核模塊，供內核模塊進行使用，RAMpage 內核補丁匯出的機制包括 hwpoison 子系統中的抖動機制和熱插拔子系統中的記憶體遷移機制，分別用來釋放被快取和其他程式占用的記憶體，從而給記憶體檢測器提供更多可以被檢測的記憶體，

RAMpage 運行在 Linux 內核 3.5 之上，我們已經將其移植到了 Linux 內核 4.4 之上，

當對用戶空間實作的記憶體檢測器進行驗證時，在讀取記憶體資料時，需要先將記憶體檢測器傳遞進來的虛擬地址，根據頁表轉換為物理地址，在讀取記憶體資料時，需要再將該物理地址映射到內核地址空間的某個虛擬地址上，因為此時是內核負責讀取資料，而對于實作在內核態的記憶體檢測器，MEI 可以直接使用檢測器傳遞進來的虛擬地址，因為它們都是處于內核地址空間中，