主頁 > 後端開發 > Python---記憶體管理

Python---記憶體管理

2021-02-21 06:17:00 後端開發

語言的記憶體管理是語言設計的一個重要方面,它是決定語言性能的重要因素,無論是C語言的手工管理,還是Java的垃圾回收,都成為語言最重要的特征,這里以Python語言為例子,說明一門動態型別的、面向物件的語言的記憶體管理方式,

物件的記憶體使用

賦值陳述句是語言最常見的功能了,但即使是最簡單的賦值陳述句,也可以很有內涵,Python

a = 1

整數1為一個物件,而a是一個參考,利用賦值陳述句,參考a指向物件1,Python是動態型別的語言(參考動態型別),物件與參考分離,Python像使用“筷子”那樣,通過參考來接觸和翻動真正的食物——物件,

 

參考和物件
參考和物件

 

為了探索物件在記憶體的存盤,我們可以求助于Python的內置函式id(),它用于回傳物件的身份(identity),其實,這里所謂的身份,就是該物件的記憶體地址,

a = 1

print(id(a))
print(hex(id(a)))

在我的計算機上,它們回傳的是:
11246696
'0xab9c68'

分別為記憶體地址的十進制和十六進制表示,

在Python中,整數和短小的字符,Python都會快取這些物件,以便重復使用,當我們創建多個等于1的參考時,實際上是讓所有這些參考指向同一個物件,

a = 1
b = 1

print(id(a))
print(id(b))

上面程式回傳
11246696
11246696

可見a和b實際上是指向同一個物件的兩個參考,

為了檢驗兩個參考指向同一個物件,我們可以用is關鍵字,is用于判斷兩個參考所指的物件是否相同,


# True
a = 1
b = 1
print(a is b)

# True
a = "good"
b = "good"
print(a is b)

# False
a = "very good morning"
b = "very good morning"
print(a is b)

# False
a = []
b = []
print(a is b)

上面的注釋為相應的運行結果,可以看到,由于Python快取了整數和短字串,因此每個物件只存有一份,比如,所有整數1的參考都指向同一物件,即使使用賦值陳述句,也只是創造了新的參考,而不是物件本身,長的字串和其它物件可以有多個相同的物件,可以使用賦值陳述句創建出新的物件,

在Python中,每個物件都有存有指向該物件的參考總數,即參考計數(reference count),

我們可以使用sys包中的getrefcount(),來查看某個物件的參考計數,需要注意的是,當使用某個參考作為引數,傳遞給getrefcount()時,引數實際上創建了一個臨時的參考,因此,getrefcount()所得到的結果,會比期望的多1,


from sys import getrefcount

a = [1, 2, 3]
print(getrefcount(a))b = aprint(getrefcount(b))

由于上述原因,兩個getrefcount將回傳2和3,而不是期望的1和2,

物件參考物件

Python的一個容器物件(container),比如表、詞典等,可以包含多個物件,實際上,容器物件中包含的并不是元素物件本身,是指向各個元素物件的參考,

我們也可以自定義一個物件,并參考其它物件:


class from_obj(object):
    def __init__(self, to_obj):
        self.to_obj = to_obj

b = [1,2,3]
a = from_obj(b)
print(id(a.to_obj))
print(id(b))

可以看到,a參考了物件b,

物件參考物件,是Python最基本的構成方式,即使是a = 1這一賦值方式,實際上是讓詞典的一個鍵值"a"的元素參考整數物件1,該詞典物件用于記錄所有的全域參考,該詞典參考了整數物件1,我們可以通過內置函式globals()來查看該詞典,

當一個物件A被另一個物件B參考時,A的參考計數將增加1,


from sys import getrefcount

a = [1, 2, 3]
print(getrefcount(a))

b = [a, a]
print(getrefcount(a))

由于物件b參考了兩次a,a的參考計數增加了2,

容器物件的參考可能構成很復雜的拓撲結構,我們可以用objgraph包來繪制其參考關系,比如


x = [1, 2, 3]
y = [x, dict(key1=x)]
z = [y, (x, y)]

import objgraph
objgraph.show_refs([z], filename='ref_topo.png')

 

objgraph是Python的一個第三方包,安裝之前需要安裝xdot,


sudo apt-get install xdot
sudo pip install objgrap

兩個物件可能相互參考,從而構成所謂的參考環(reference cycle),


a = []
b = [a]
a.append(b)

即使是一個物件,只需要自己參考自己,也能構成參考環,


a = []
a.append(a)
print(getrefcount(a))

參考環會給垃圾回識訓制帶來很大的麻煩,我將在后面詳細敘述這一點,

參考減少

某個物件的參考計數可能減少,比如,可以使用del關鍵字洗掉某個參考:


from sys import getrefcount

a = [1, 2, 3]
b = a
print(getrefcount(b))

del a
print(getrefcount(b))

del也可以用于洗掉容器元素中的元素,比如:


a = [1,2,3]
del a[0]
print(a)

如果某個參考指向物件A,當這個參考被重新定向到某個其他物件B時,物件A的參考計數減少:


from sys import getrefcounta = [1, 2, 3]
b = a
print(getrefcount(b))

a = 1
print(getrefcount(b))

垃圾回收

吃太多,總會變胖,Python也是這樣,當Python中的物件越來越多,它們將占據越來越大的記憶體,不過你不用太擔心Python的體形,它會乖巧的在適當的時候“減肥”,啟動垃圾回收(garbage collection),將沒用的物件清除,在許多語言中都有垃圾回識訓制,比如Java和Ruby,盡管最終目的都是塑造苗條的提醒,但不同語言的減肥方案有很大的差異 (這一點可以對比本文和Java記憶體管理與垃圾回收),

從基本原理上,當Python的某個物件的參考計數降為0時,說明沒有任何參考指向該物件,該物件就成為要被回收的垃圾了,比如某個新建物件,它被分配給某個參考,物件的參考計數變為1,如果參考被洗掉,物件的參考計數為0,那么該物件就可以被垃圾回收,比如下面的表:


a = [1, 2, 3]
del a

del a后,已經沒有任何參考指向之前建立的[1, 2, 3]這個表,用戶不可能通過任何方式接觸或者動用這個物件,這個物件如果繼續待在記憶體里,就成了不健康的脂肪,當垃圾回收啟動時,Python掃描到這個參考計數為0的物件,就將它所占據的記憶體清空,

然而,減肥是個昂貴而費力的事情,垃圾回收時,Python不能進行其它的任務,頻繁的垃圾回收將大大降低Python的作業效率,如果記憶體中的物件不多,就沒有必要總啟動垃圾回收,所以,Python只會在特定條件下,自動啟動垃圾回收,當Python運行時,會記錄其中分配物件(object allocation)和取消分配物件(object deallocation)的次數,當兩者的差值高于某個閾值時,垃圾回收才會啟動,

我們可以通過gc模塊的get_threshold()方法,查看該閾值:


import gc
print(gc.get_threshold())

回傳(700, 10, 10),后面的兩個10是與分代回收相關的閾值,后面可以看到,700即是垃圾回收啟動的閾值,可以通過gc中的set_threshold()方法重新設定,

我們也可以手動啟動垃圾回收,即使用gc.collect(),

分代回收

Python同時采用了分代(generation)回收的策略,這一策略的基本假設是,存活時間越久的物件,越不可能在后面的程式中變成垃圾,我們的程式往往會產生大量的物件,許多物件很快產生和消失,但也有一些物件長期被使用,出于信任和效率,對于這樣一些“長壽”物件,我們相信它們的用處,所以減少在垃圾回收中掃描它們的頻率,

Python將所有的物件分為0,1,2三代,所有的新建物件都是0代物件,當某一代物件經歷過垃圾回收,依然存活,那么它就被歸入下一代物件,垃圾回收啟動時,一定會掃描所有的0代物件,如果0代經過一定次數垃圾回收,那么就啟動對0代和1代的掃描清理,當1代也經歷了一定次數的垃圾回收后,那么會啟動對0,1,2,即對所有物件進行掃描,

這兩個次數即上面get_threshold()回傳的(700, 10, 10)回傳的兩個10,也就是說,每10次0代垃圾回收,會配合1次1代的垃圾回收;而每10次1代的垃圾回收,才會有1次的2代垃圾回收,

同樣可以用set_threshold()來調整,比如對2代物件進行更頻繁的掃描,


import gc
gc.set_threshold(700, 10, 5)

孤立的參考環

參考環的存在會給上面的垃圾回識訓制帶來很大的困難,這些參考環可能構成無法使用,但參考計數不為0的一些物件,


a = []
b = [a]
a.append(b)

del a
del b

上面我們先創建了兩個表物件,并參考對方,構成一個參考環,洗掉了a,b參考之后,這兩個物件不可能再從程式中呼叫,就沒有什么用處了,但是由于參考環的存在,這兩個物件的參考計數都沒有降到0,不會被垃圾回收,

 

孤立的參考環
孤立的參考環

 

為了回收這樣的參考環,Python復制每個物件的參考計數,可以記為gc_ref,假設,每個物件i,該計數為gc_ref_i,Python會遍歷所有的物件i,對于每個物件i參考的物件j,將相應的gc_ref_j減1,

 

遍歷后的結果
遍歷后的結果


在結束遍歷后,gc_ref不為0的物件,和這些物件參考的物件,以及繼續更下游參考的物件,需要被保留,而其它的物件則被垃圾回收,

總結

Python作為一種動態型別的語言,其物件和參考分離,這與曾經的面向程序語言有很大的區別,為了有效的釋放記憶體,Python內置了垃圾回收的支持,Python采取了一種相對簡單的垃圾回識訓制,即參考計數,并因此需要解決孤立參考環的問題,Python與其它語言既有共通性,又有特別的地方,對該記憶體管理機制的理解,是提高Python性能的重要一步,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/261617.html

標籤:Python

上一篇:用Python標準庫turtle畫一頭金牛,祝您新年牛氣沖天!(附原始碼)

下一篇:用Python爬蟲+Tkinter制作一個翻譯軟體

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more