概述

如果程式處理的資料比較多、比較復雜，那么在程式運行的時候，會占用大量的記憶體，當記憶體占用到達一定的數值，程式就有可能被作業系統終止，特別是在限制程式所使用的記憶體大小的場景，更容易發生問題，下面我就給出幾個優化Python占用記憶體的幾個方法，

說明：以下代碼運行在Python3，

這里還要注意：不管你是為了Python就業還是興趣愛好，記住：專案開發經驗永遠是核心，如果你沒有2020最新python入門到高級實戰視頻教程，可以去小編的Python交流.裙：七衣衣九七七巴而五（數字的諧音）轉換下可以找到了，里面很多新python教程專案，還可以跟老司機交流討教！

舉個栗子

我們舉個簡單的場景，使用Python存盤一個三維坐標資料，x,y,z，

Dict

使用Python內置的資料結構Dict來實作上述例子的需求很簡單，

1
2
3

>>> ob = {'x':1, 'y':2, 'z':3}
>>> x = ob['x']
>>> ob['y'] = y

查看以下ob這個物件占用的記憶體大小：

1 2	>>> print(sys.getsizeof(ob)) 240

簡單的三個整數，占用的記憶體還真不少，想象以下，如果有大量的這樣的資料要存盤，會占用更大的記憶體，

資料量	占用記憶體大小
1 000 000	240 Mb
10 000 000	2.40 Gb
100 000 000	24 Gb

Class

對于喜歡面向物件編程的程式員來說，更喜歡把資料包在一個class里，使用class使用同樣需求：

class Point:
    #
    def __init__(self, x, y, z):
        self.x = x
        self.y = y
        self.z = z

>>> ob = Point(1,2,3)

class的資料結構和Dict區別就很大了，我們來看看這種情況下占用記憶體的情況：

欄位	占用記憶體
PyGC_Head	24
PyObject_HEAD	16
__weakref__	8
__dict__	8
TOTAL	56

關于 __weakref__（弱參考）可以查看這個檔案，　物件的dict中存盤了一些self.xxx的一些東西，從Python 3.3開始，key使用了共享記憶體存盤，減少了RAM中實體跟蹤的大小，

1 2	>>> print(sys.getsizeof(ob), sys.getsizeof(ob.__dict__)) 56 112

資料量	占用記憶體
1 000 000	168 Mb
10 000 000	1.68 Gb
100 000 000	16.8 Gb

可以看到記憶體占用量，class比dict少了一些，但這遠遠不夠，

slots

從class的記憶體占用分布上，我們可以發現，通過消除dict和_weakref__，可以顯著減少RAM中類實體的大小，我們可以通過使用slots來達到這個目的，

class Point:
    __slots__ = 'x', 'y', 'z'

    def __init__(self, x, y, z):
        self.x = x
        self.y = y
        self.z = z

>>> ob = Point(1,2,3)
>>> print(sys.getsizeof(ob))
64

可以看到記憶體占用顯著的減少了

欄位	記憶體占用
PyGC_Head	24
PyObject_HEAD	16
x	8
y	8
z	8
TOTAL	64

資料量	占用記憶體
1 000 000	64Mb
10 000 000	640Mb
100 000 000	6.4Gb

默認情況下,Python的新式類和經典類的實體都有一個dict來存盤實體的屬性，這在一般情況下還不錯，而且非常靈活，乃至在程式中可以隨意設定新的屬性，但是，對一些在”編譯”前就知道有幾個固定屬性的小class來說，這個dict就有點浪費記憶體了，

當需要創建大量實體的時候，這個問題變得尤為突出，一種解決方法是在新式類中定義一個slots屬性，

slots宣告中包含若干實體變數，并為每個實體預留恰好足夠的空間來保存每個變數；這樣Python就不會再使用dict，從而節省空間，

那么用slot就是非非常那個有必要嗎？使用slots也是有副作用的：

每個繼承的子類都要重新定義一遍slots
實體只能包含哪些在slots定義的屬性，這對寫程式的靈活性有影響，比如你由于某個原因新網給instance設定一個新的屬性，比如instance.a = 1, 但是由于a不在slots里面就直接報錯了，你得不斷地去修改slots或者用其他方法迂回的解決
實體不能有弱參考（weakref）目標，否則要記得把weakref放進slots

最后，namedlist和attrs提供了自動創建帶slot的類，感興趣的可以試試看，

Tuple

Python還有一個內置型別元組，用于表示不可變資料結構，元組是固定的結構或記錄，但沒有欄位名稱，對于欄位訪問，使用欄位索引，在創建元組實體時，元組欄位一次性與值物件關聯：

1
2
3

>>> ob = (1,2,3)
>>> x = ob[0]
>>> ob[1] = y # ERROR

元組的示例很簡潔：

1 2	>>> print(sys.getsizeof(ob)) 72

可以看只比slot多8byte：

欄位	占用記憶體(bytes)
PyGC_Head	24
PyObject_HEAD	16
ob_size	8
[0]	8
[1]	8
[2]	8
TOTAL	72

Namedtuple

通過namedtuple我們也可以實作通過key值來訪問tuple里的元素：

1	Point = namedtuple('Point', ('x', 'y', 'z'))

它創建了一個元組的子類，其中定義了用于按名稱訪問欄位的描述符，對于我們的例子，它看起來像這樣:

class Point(tuple):
     #
     @property
     def _get_x(self):
         return self[0]
     @property
     def _get_y(self):
         return self[1]
     @property
     def _get_y(self):
         return self[2]
     #
     def __new__(cls, x, y, z):
         return tuple.__new__(cls, (x, y, z))

此類的所有實體都具有與元組相同的記憶體占用，大量實體會留下稍大的記憶體占用：

資料量	記憶體占用
1 000 000	72 Mb
10 000 000	720 Mb
100 000 000	7.2 Gb

Recordclass

python的第三方庫recordclassd提供了一個資料結構recordclass.mutabletuple，它幾乎和內置tuple資料結構一致，但是占用更少的記憶體，

1 2	>>> Point = recordclass('Point', ('x', 'y', 'z')) >>> ob = Point(1, 2, 3)

實體化以后，只少了PyGC_Head:

欄位	占用記憶體
PyObject_HEAD	16
ob_size	8
x	8
y	8
y	8
TOTAL	48

到此，我們可以看到，和slot比，又進一步縮小了記憶體占用：

資料量	記憶體占用
1 000 000	48 Mb
10 000 000	480 Mb
100 000 000	4.8 Gb

Dataobject

recordclass提供了另外一個解決方法：在記憶體中使用與slots類相同的存盤結構，但不參與回圈垃圾收集機制，通過recordclass.make_dataclass可以創建出這樣的實體：

1	>>> Point = make_dataclass('Point', ('x', 'y', 'z'))

另外一個方法是繼承自dataobject

class Point(dataobject):
    x:int
    y:int
    z:int

以這種方式創建的類將創建不參與回圈垃圾收集機制的實體，記憶體中實體的結構與slots的情況相同，但沒有PyGC_Head：

欄位	記憶體占用(bytes)
PyObject_HEAD	16
x	8
y	8
y	8
TOTAL	40

1
2
3

>>> ob = Point(1,2,3)
>>> print(sys.getsizeof(ob))
40

要訪問這些欄位，還使用特殊描述符通過其從物件開頭的偏移量來訪問欄位，這些物件位于類字典中：

mappingproxy({'__new__': <staticmethod at 0x7f203c4e6be0>,
              .......................................
              'x': <recordclass.dataobject.dataslotgetset at 0x7f203c55c690>,
              'y': <recordclass.dataobject.dataslotgetset at 0x7f203c55c670>,
              'z': <recordclass.dataobject.dataslotgetset at 0x7f203c55c410>})

資料量	記憶體占用
1 000 000	40 Mb
10 000 000	400 Mb
100 000 000	4.0 Gb

Cython

有一種方法基于Cython的使用，它的優點是欄位可以采用C語言原子型別的值，例如：

cdef class Python:
    cdef public int x, y, z

 def __init__(self, x, y, z):
      self.x = x
      self.y = y
      self.z = z

這種情況下，占用的記憶體更小：

1
2
3

>>> ob = Point(1,2,3)
>>> print(sys.getsizeof(ob))
32

記憶體結構分布如下:

欄位	記憶體占用(bytes)
PyObject_HEAD	16
x	4
y	4
y	4
пусто	4
TOTAL	32

資料量	記憶體占用
1 000 000	32 Mb
10 000 000	320 Mb
100 000 000	3.2 Gb

但是，從Python代碼訪問時，每次都會執行從int到Python物件的轉換，反之亦然，

Numpy

在純Python的環境中，使用Numpy能帶來更好的效果，例如:

1	>>> Point = numpy.dtype(('x', numpy.int32), ('y', numpy.int32), ('z', numpy.int32)])

創建初始值是0的陣列：

1	>>> points = numpy.zeros(N, dtype=Point)

資料量	記憶體占用
1 000 000	12 Mb
10 000 000	120 Mb
100 000 000	1.2 Gb

最后注意：不管你是為了Python就業還是興趣愛好，記住：專案開發經驗永遠是核心，如果你沒有2020最新python入門到高級實戰視頻教程，可以去小編的Python交流.裙：七衣衣九七七巴而五（數字的諧音）轉換下可以找到了，里面很多新python教程專案，還可以跟老司機交流討教！

可以看出，在Python性能優化這方面，還是有很多事情可以做的，Python提供了方便的同時，也需要暫用較多的資源，在不通的場景下，我需要選擇不同的處理方法，以便帶來更好的性能體驗，
本文的文字及圖片來源于網路加上自己的想法,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/152957.html

標籤：Python

上一篇：Python爬蟲篇（代理IP）--lizaza.cn

下一篇：本地儲存

如何優化Python占用的記憶體，面試必學

概述