昨天發現線上試跑期的一個程式掛了，平時都跑的好好的，查了下日志是因為昨天運營跑了一家美妝top級淘品牌店，會員量近千萬，一下子就把128G的記憶體給爆了，當時并行跑了二個任務，沒轍先速寫一段代碼限流，后面再做進一步優化，
一： 背景
1. 背景介紹
因為是自己寫的代碼，所以我知道問題出現在哪里，如果大家看過我之前寫的文章應該知道我用全記憶體跑了很多模型對用戶打標簽，一個模型就是一組定向的篩選條件，而為了加速處理，我會原子化篩選條件，然后一邊查詢一邊快取原子化條件獲取的人數，后面的模型如果命中了前面模型的原子化條件，那么可以直接從快取中讀取它的人數即可，這也是動態規劃的思想~ ,如果不明白我來畫張圖，
從上面圖可以看到，在計算模型2的時候，條件1的人數可以直接從模型1下的條件1處獲取，模型三下的2，5的人數也可以直接從模型1和2處獲取，這樣就大大加速的處理速度，
2. 找原因
剛才提到了快取人數，我也不知道為什么用了這么一個型別,如下代碼：
/// <summary>
/// 快取原子人群
/// key: 原子化條件
/// value: 人數集合
/// </summary>
public ConcurrentDictionary<string, List<long>> CachedCrowds { get; set; } = new ConcurrentDictionary<string, List<long>>();
我說的是里面的List<long>,我居然用了long型別存盤customerID，可能是看了這個專案先祖原先定義的long才跟風成long，??????，誰家店有數不盡的客戶，國家才14億人呢，而一個long占用8個位元組，明顯是一種浪費，
二：解決方案
1. 將long轉成int
人都是懶的，能少改點代碼就少改點，省的背鍋，好事不出門，壞事傳千里，所以這里用int表示就足夠了，應該能省一半的空間對不對，接下來為了演示，在List<long> 和 List<int> 中分別灌入 500w 客戶ID，代碼如下：
public static void Main(string[] args)
{
var rand = new Random();
List<int> intCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000))
.Take(5000000).ToList();
List<long> longCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000))
.Take(5000000).Select(m => (long)m).ToList();
Console.WriteLine("處理完畢...");
Console.Read();
}
接下來用windbg看一下他們在堆中各占多少記憶體，
~0s -> !clrstack -l -> !dumpobj 從主執行緒找到List<int>和List<long> 的區域變數，然后查看size，
0:000> ~0s
ntdll!ZwReadFile+0x14:
00007ff8`fea4aa64 c3 ret
0:000> !clrstack -l
OS Thread Id: 0x5b70 (0)
Child SP IP Call Site
00000015c37feed0 00007ff889e60b9c ConsoleApp2.Program.Main(System.String[]) [C:\dream\Csharp\ConsoleApp1\ConsoleApp2\Program.cs @ 35]
LOCALS:
0x00000015c37fef90 = 0x0000014ad7c12d88
0x00000015c37fef88 = 0x0000014ad7c13060
0x00000015c37fef80 = 0x0000014ad7c33438
00000015c37ff1a8 00007ff8e9396c93 [GCFrame: 00000015c37ff1a8]
0:000> !do 0x0000014ad7c13060
Name: System.Collections.Generic.List`1[[System.Int32, mscorlib]]
MethodTable: 00007ff8e7aaa068
EEClass: 00007ff8e7c0b008
Size: 40(0x28) bytes
File: C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
MT Field Offset Type VT Attr Value Name
00007ff8e7a98538 400189e 8 System.Int32[] 0 instance 0000014af02d1020 _items
00007ff8e7a985a0 400189f 18 System.Int32 1 instance 5000000 _size
00007ff8e7a985a0 40018a0 1c System.Int32 1 instance 5000000 _version
00007ff8e7a95dd8 40018a1 10 System.Object 0 instance 0000000000000000 _syncRoot
00007ff8e7a98538 40018a2 0 System.Int32[] 0 shared static _emptyArray
>> Domain:Value dynamic statics NYI 0000014ad61166c0:NotInit <<
0:000> !do 0000014af02d1020
Name: System.Int32[]
MethodTable: 00007ff8e7a98538
EEClass: 00007ff8e7c05918
Size: 33554456(0x2000018) bytes
Array: Rank 1, Number of elements 8388608, Type Int32 (Print Array)
Fields:
None
0:000> !do 0x0000014ad7c33438
Name: System.Collections.Generic.List`1[[System.Int64, mscorlib]]
MethodTable: 00007ff8e7aad2a0
EEClass: 00007ff8e7c0bd70
Size: 40(0x28) bytes
File: C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
MT Field Offset Type VT Attr Value Name
00007ff8e7aa6c08 400189e 8 System.Int64[] 0 instance 0000014a80001020 _items
00007ff8e7a985a0 400189f 18 System.Int32 1 instance 5000000 _size
00007ff8e7a985a0 40018a0 1c System.Int32 1 instance 5000000 _version
00007ff8e7a95dd8 40018a1 10 System.Object 0 instance 0000000000000000 _syncRoot
00007ff8e7aa6c08 40018a2 0 System.Int64[] 0 shared static _emptyArray
>> Domain:Value dynamic statics NYI 0000014ad61166c0:NotInit <<
0:000> !do 0000014a80001020
Name: System.Int64[]
MethodTable: 00007ff8e7aa6c08
EEClass: 00007ff8e7c09e50
Size: 67108888(0x4000018) bytes
Array: Rank 1, Number of elements 8388608, Type Int64 (Print Array)
Fields:
None
仔細看上圖，在主執行緒的堆疊中找到了三個變數，后兩個變數就是我們的List<int> 和 List<long>,分別是
Size: 33554456(0x2000018) bytes => 33554456/1024/1024 = 32M
Size:67108888(0x4000018) bytes => 67108888/1024/1024 = 64M
以后可以跟別人吹牛了，我知道500w個int占用是32M記憶體，雖然記憶體空間優化了一半，但沒有本質性的優化，還得繼續往上挖，否則同時跑4個任務又要把記憶體給爆掉了，，，
2. 使用bitarray
我們在學習資料結構的時候，相信很多人都學習過bitmap，剛好原子化的篩選條件獲取的人數眾多，使用bitmap剛好滿足我的業務需求，如果不知道bitmap我簡單解釋一下，
<1> 原理解釋
我們都知道一個int是4個位元組，也就是4byte，也就是32bit，畫成圖就是32個格子，如下所示：
默認情況下32個格子表示一個int是不是有點浪費，其實32個格子可以放置32個數字(1-32)，比如1放在第一個格子里，3放在第三個格子里，，，32放在第32個格子里，那么兩個int就可以存放1-64個數字，也就是說理想情況下可以優化空間32倍，思維一定要反轉一下，把數字作為陣列的下標，因為是bit，所以0，1兩種狀態剛好可以表示當前格子是否已經被設定了，1表示已設定，0表示未設定，好好品味一下，如果還是不明白，可以參考我八年前的文章：
經典演算法題每日演練——第十一題 Bitmap演算法
在C#中已經幫我們設定好了一個BitArray類，結合我剛才講得，大家好好品味一下bitarray如何向各自格子中設定值的，底層還是用m_array承載，它其實是一個int[]，
public void Set(int index, bool value)
{
if (value)
{
m_array[index / 32] |= 1 << index % 32;
}
else
{
m_array[index / 32] &= ~(1 << index % 32);
}
_version++;
}
public bool Get(int index)
{
return (m_array[index / 32] & (1 << index % 32)) != 0;
}
<2> 查看記憶體占用
接下來把List<int> 中的資料灌入到bitArray中看看,先上一下代碼：
public static void Main(string[] args)
{
var rand = new Random();
List<int> intCustomerIDList = Enumerable.Range(1, 5000000).OrderBy(m => rand.Next(0, 100000))
.Take(5000000).ToList();
BitArray bitArray = new BitArray(intCustomerIDList.Max() + 1);
foreach (var customerID in intCustomerIDList)
{
bitArray[customerID] = true;
}
Console.WriteLine("處理完畢...");
Console.Read();
}
然后抓一下dump檔案，用windbg看一下記憶體占用，
0:000> !do 0x0000026e4d0332b8
Name: System.Collections.BitArray
MethodTable: 00007ff8e7a89220
EEClass: 00007ff8e7c01bc0
Size: 40(0x28) bytes
File: C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
MT Field Offset Type VT Attr Value Name
00007ff8e7a98538 4001810 8 System.Int32[] 0 instance 0000026e5dfd9bd8 m_array
00007ff8e7a985a0 4001811 18 System.Int32 1 instance 5000001 m_length
00007ff8e7a985a0 4001812 1c System.Int32 1 instance 5000000 _version
00007ff8e7a95dd8 4001813 10 System.Object 0 instance 0000000000000000 _syncRoot
0:000> !DumpObj /d 0000026e5dfd9bd8
Name: System.Int32[]
MethodTable: 00007ff8e7a98538
EEClass: 00007ff8e7c05918
Size: 625028(0x98984) bytes
Array: Rank 1, Number of elements 156251, Type Int32 (Print Array)
Fields:
None
從圖中可以看到，沒錯，就是bitArray型別，從Size中可以看到：
Size: 625028(0x98984) bytes => 625028/1024/1024 = 0.59M
看到沒有，這個就????了，由最初的64M優化到了0.6M，簡直不要太爽，看到這么小的占用量，我感到枯燥而乏味，哈哈，這下并行跑幾十家不怕了，這里要提醒一下，如果客戶數少并且數字還大,就不要用bitArray啦，反而浪費空間，當然資料量小怎么用也無所謂，
三：總結
跑小店鋪的時候代碼怎么寫都行，資料量大了到處都是坑，你的場景也總有優化的辦法~
如您有更多問題與我互動，掃描下方進來吧~
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/46974.html
標籤：C#
上一篇：【劍指Offer】反轉鏈表