前言
匯出功能幾乎是所有應用系統必不可少功能，今天我們來談一談，如何使用記憶體映射檔案MMF進行記憶體優化，本文重點介紹使用方法，相關原理可以參考文末的連接
實作
我們以單次匯出一個excel舉例(csv同理)，excel包含1~n個sheet，在每個sheet中存盤的按行和列的坐標在單元格存盤具體資料，如果我們要使用MMF，第一個要考慮的就是如何將整個excel合理的存盤到MMF中，這里我們引入MMF兩個物件：
MemoryMappedFile --表示記憶體映射檔案
MemoryMappedViewAccessor --表示隨機訪問的記憶體映射檔案視圖
使用MemoryMappedFile.CreateNew(string mapName, long capacity)可以得到一個指定名稱和指定大小的記憶體映射檔案，以下簡稱mmf
* 這里需要注意的是capacity為long型別，以位元組為單位，通過計算可知檔案大小上限為1G
使用mmf.CreateViewAccessor(long offset, long size)可以得到一個從指定位置開始的指定大小空間的訪問器，以下簡稱accessor
* 這里同樣需要注意的是size的大小，如果加上offset超過檔案大小，會報System.UnauthorizedAccessException: Access to the path is denied.
考慮到資料體積和管理成本，這里使用mmf對應sheet，使用accessor對應一行資料
* 這里有個需要注意的是mmf不能存盤參考型別，包括字串...，折衷先將string轉為char[]然后使用WriteArray方法存盤，考慮到取資料的時候同樣需要使用char[]陣列，而陣列必須指定長度，我們將陣列長度和具體資料都存起來，這樣取資料時候的索引也可以計算出來了
資料存盤示例：
這面是具體的實作代碼：
//添加外部參考防止被自動GC public List<MemoryMappedFile> mmfs = new List<MemoryMappedFile>(); /// <summary> /// 寫入 /// </summary> public void WriteMMF() { for(var f = 1; f <= 3; f ++) { //每一個File相當于一個excel的一個sheet（一個患者一行） var mmf = MemoryMappedFile.CreateNew($"mmftest{f}", 1024 * 1024 * 1024); //檔案大小最大為1G for (var row = 0; row < 10; row++) { //每一個ViewAccessor相當于excel的一行 var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //通過具體資料量計算空間，offset位移為每個size的長度，size為1M var index = 0; for (var i = 0; i < 16384; i++) { //相當于一行的每一個cell var buffer = ASCIIEncoding.UTF8.GetBytes($"測驗第{row}行第{i}個單元格~!"); var length = buffer.Length; accessor.Write(index, length); accessor.WriteArray(index + 4, buffer, 0, length); index += (length + 4); } } mmfs.Add(mmf); } } /// <summary> /// 讀取 /// </summary> public void ReadMMF() { for (var f = 1; f <= 3; f++) { using var mmf = MemoryMappedFile.OpenExisting($"mmftest{f}"); for (var row = 0; row < 10; row++) { using var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //通過寫資料同時做的記錄控制大小 var index = 0; for (var i = 0; i < 16384; i++) { var size = accessor.ReadInt32(index); var buffer = new byte[size]; accessor.ReadArray(index + 4, buffer, 0, size); var result = ASCIIEncoding.UTF8.GetString(buffer); Console.WriteLine(result); index += (size + 4); } } } }
運行效果：
* 這里有個需要注意的點是，如果不在外部參考mmf，如果創建多個mmf，只有最新一個能通過OpenExisting方法打開，其他的都報System.IO.FileNotFoundException，猜測是資源被釋放掉了
* 還有個需要注意的點是，一定要計算好資料體積，不要超過mmf上限，使用accessor的時候也要注意，資料量實在太大可以考慮將一個sheet拆成多個mmf，或者將一行資料拆成多個accessor
這樣就可以實作從資料庫獲然后處理再存盤到載體的流程，整個程序中記憶體使用控制在一個比較低的水平，當然，這是使用時間換空間，相應的匯出時間會延長
順便說一下，原本考慮后續使用epplus進行excel生成，后來發現npoi也和poi一樣有SXSSFWorkbook物件，可以流式讀取資料，配合記憶體映射檔案可以實作整個匯出程序
相關連接參考：
https://docs.microsoft.com/en-us/dotnet/api/system.io.memorymappedfiles?view=netframework-4.8
https://www.cnblogs.com/flyant/p/4443187.html
https://www.bygeek.cn/2018/05/24/understand-memory-mapped-file/
https://stackoverflow.com/questions/10806518/write-string-data-to-memorymappedfile
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/80536.html
標籤：C#