背景：目前，我的團隊有一個 perl 腳本，它可以做很多事情，其中??之一是它在 hashmap 中存盤 1 個位元組的十六進制值（陣列產生類似的結果）。輸入資料的范圍可以從數百 MB 到數十 GB。目前，當我們運行 1GB 輸入（10 億個條目）時，腳本需要大約 10 分鐘，然后由于使用了我所有 16GB 的 RAM 而出錯。有人告訴我，1GB 的輸入可以擴展到近 300GB。
然后我們做了一個類似的 C 程式，發現它只需要幾分鐘并且只使用 1.1GBs。
我撰寫下面的代碼是為了簡單地測驗 C 和 Perl 在寫入 10 億個值時的表現。我發現 Perl 代碼運行大約需要 186 秒和 >70GB 的記憶體，而 C 代碼只需要 2 秒和 1GB。我使用時間和記憶來確定測量值。
問題：perl 在記憶體管理方面真的這么慢而且這么糟糕，還是我遺漏了什么。我在網上閱讀的文獻中，由于 Perl 提供的靈活性，它應該會更慢，但相對來說不是超級慢，因為它是用 C 撰寫的。
記憶體使用的 Perl 代碼示例：
use strict;
my @list;
for(my $a=0; $a < 1000000000;$a ){
$list[$a]=1; # 1 is just to simulate some data.
}
print 'done';
C代碼：
#include <stdlib.h>
int main() {
int size = 1000000000;
unsigned char *data = (unsigned char*)malloc(size*sizeof(unsigned char));
unsigned char byte = 'a';
int address = 0;
while (address < size) {
data[address]=byte;
address ;
}
printf("done %i.\n",address);
return 0;
}
在python中也試過，在速度方面比perl差。
data = []
d = format(231,'#04x')
while address < 1000000000:
data.append(d)
address = 1
print "done"
while(1):
continue
注意：我還沒有使用分析器，因為評估代碼很簡單。
由于這些性能問題，我找到了一個名為 SWIG 的解決方案，它允許我包裝 C 代碼并在 perl 中運行它；但是，我對此有一些后續問題。:)
編輯：標記
uj5u.com熱心網友回復：
它不是“不擅長記憶體管理”，但由于使用了不適當的資料結構，這是一個壞主意。120 * n 120 * ?log2(n)?除了存盤的鍵和值的大小之外，64 位系統上的 Perl 散列具有非常近似的位元組開銷。如果你假設你的密鑰是 4 個位元組，你的值是 1 個位元組，你有十億個，那么你的真實資訊內容是 5 GB，開銷是 120 GB（加上零錢）。
此開銷用于使 Perl 易于使用的事情：動態型別、自動參考計數等。在許多合理的情況下，它不會引起任何問題。如果您存盤大約一千位元組的東西，那么開銷是 10% 而不是 2400%。如果您只存盤一百個小東西，那么您可能不在乎使用 12kB 來存盤。
但是，如果您稍微突破極限，那么您需要更有創意地提出適合您的應用程式的東西，而不是一刀切的哈希表。我不能在這里給出具體的建議，因為正確的答案取決于您存盤的內容以及需要如何訪問它的詳細資訊，超出了您給出的范圍。它可以像使用 訪問的單個 1GB 字串一樣簡單，substr即使在 Perl 中也只會占用 1.0001GB，或者如果密鑰空間稀疏，則使用基數樹方法將使用更少的空間。
當然，如果你有一個可用的 C 版本，你應該可以隨意使用它，你可以從 Perl 中呼叫它。
uj5u.com熱心網友回復：
一個陣列（型別的標量SVt_PVAV）在我的系統上占用 64 個位元組。
$ perl -Mv5.10 -MDevel::Size=size -e'my @a; say size( \@a );'
64
這包括所有變數共有的欄位（參考計數、變數型別、標志、指向主體的指標），以及特定于SVt_PVAV（總大小、使用的大小、指向底層指標陣列的指標）的欄位。
這不包括指向它包含的標量的實際指標。
在我的系統上，只能包含整數 ( SVt_IV) 的標量大小為 24 個位元組。
$ perl -Mv5.10 -MDevel::Size=size -e'my $i = 1; say size( $i );'
24
這包括所有變數共有的欄位：（參考計數、變數型別、標志、指向主體的指標），以及特定于SVt_IV（整數）的欄位。
所以我們說的是 64 1,000,000,000 * ( 8 24 ) = 32e9 位元組。加上有意過度分配陣列（以避免每次添加元素時都必須重新分配）。加上 1,000,000,003 個記憶體塊的開銷。不難想象這總共需要 70e9 個位元組。
至于速度，所有這些分配加起來。當然，你是在一個標量上做算術，而不是一個int. 這涉及每次遞增時的指標、型別檢查和標志檢查。
可以保存任何型別資料的變數、可以隨意擴展的陣列以及自動記憶體釋放的便利性是有代價的。但好處也是巨大的。
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/491639.html