主頁 > 軟體工程 > 我怎么知道Python是否在記憶體中創建了一個新的子串列:`foriteminnums[1:]`

我怎么知道Python是否在記憶體中創建了一個新的子串列:`foriteminnums[1:]`

2022-11-21 04:03:19 軟體工程

我不是要問題的答案,而是我自己如何得到答案。

原始問題:

以下代碼是否會導致 Python 在記憶體中創建一個新的大小串列 (len(nums) - 1) 然后對其進行迭代?

for item in nums[1:]:
   # do stuff with item

原始答案

這里提出了一個類似的問題 ,Srinivas Reddy Thatiparthy 有一個子評論說創建了一個新的子串列。 但是,沒有詳細說明他是如何得出這個答案的,我認為這與我正在尋找的答案大不相同。

問題:

我怎么能自己弄清楚我的問題的答案是什么?

我以前有過類似的問題。例如,我了解到如果這樣做my_function(nums[1:]),我不會傳入“切片”,而是傳入一個全新的、不同的子串列!我通過測驗傳入的原始串列是否在my_function函式后修改(不是)來發現這一點。 但是我沒有看到一種直接的方法來確定 Python 是否正在為for回圈示例創建一個新的子串列。請幫助我知道如何做到這一點。

邊注

順便說一下,這是我從原始 stackoverflow 發布解決方案中使用的當前解決方案:

for indx, item in enumerate(nums):
    if indx == 0:
       continue 
    # do stuff w items 

uj5u.com熱心網友回復:

通常,了解是否有新資料塊或只是對現有資料塊的新參考的簡單方法是通過一個參考修改資料,然后查看是否也通過另一個參考修改了資料。(這聽起來像是你所做的“艱難的方式”,但我會推薦它作為一種通用技術。)一些偽代碼看起來像:

function areSameRef(thing1, thing2){
    thing1.modify()
    return thing1.equals(thing2) //make sure this is not just a referential equality check
}

這很少會失敗,并且本質上需要進行幕后優化,其中不會立即克隆資料,而是僅在修改時才進行克隆。在這種情況下,底層資料相同這一事實對您是隱藏的,在大多數情況下,您應該相信隱藏的人知道他們在做什么。例外情況是他們做錯了,或者您遇到了一些復雜的性能問題。為此,您可能需要轉向更多特定于語言的除錯或分析工具。(更多內容見下文)

還要注意可能共享部分資料的情況——例如,查找缺點串列和尾部共享。在這些情況下,如果您執行以下操作:

function foo(list1, list2){
   list1.append(someElement)
   return list1.length == list2.length
}

將回傳 false - 該元素僅添加到第一個串列中,但類似

function bar(list1, list2){
    list1.set(someIndex, someElement)
    return list1.get(someIndex)==list2.get(someIndex)
}

將回傳 true(盡管在實踐中,以這種方式創建的串列通常沒有允許可變性的介面。)

我在第 2 部分中沒有看到問題,但是是的,你的結論對我來說似乎是正確的。

編輯:更多關于實際記憶體使用情況

正如您所指出的,在某些情況下,這種測驗不會起作用,因為您實際上沒有兩個參考,就像這種for i in [nums 1:]情況一樣。在那種情況下,我會說轉向分析器,但你不能真正相信結果。

其原因歸結為編譯器/解釋器的作業方式,以及它們在語言規范中履行的合同。一般規則是允許解釋器以任何不改變結果但可能改變記憶體或時間性能的方式重新安排和修改代碼的執行。因此,如果您的代碼和所有 I/O 的狀態相同,則不可能在一個解釋器實作/執行和另一個解釋器實作/執行中foo(5)回傳,但它們花費非常不同的時間和記憶。67

這很重要,因為解釋器和編譯器所做的很多事情都是幕后優化;他們會盡量讓你的代碼運行得盡可能快,記憶體占用盡可能小,只要結果是一樣的。但是,只有在能夠證明這些變化不會改變結果的情況下,它才能這樣做。

這意味著如果您撰寫一個簡單的測驗用例,解釋器可能會在幕后優化它以最小化記憶體使用并給您一個結果——“沒有創建新串列”。但是,如果您試圖相信真實代碼中的結果,真實代碼可能過于復雜,編譯器無法判斷優化是否安全,并且可能會失敗。它還可以取決于特定的解釋器版本、環境變數或可用的硬體資源。

這是一個例子:

def foo(x : int):
    l = range(9999)
    return 5

def bar(x:int):
    l = range(9999)
    if (x   1 != (x*2 2)/2):
      return l[x]
    else:
      return 5

對于任何特定的語言,我不能保證這一點,但我通常會期望foo并且bar會有很多不同的記憶體使用。foo中,任何創建良好的解釋器都應該能夠分辨出l它在超出范圍之前從未被參考過,因此可以自由地跳過實際分配任何記憶體作為安全操作。In bar(除非我算術不及格),l也永遠不會被使用——但知道這需要對 if 陳述句的條件進行一些推理。需要更聰明的解釋器才能認識到這一點,因此即使這兩個代碼片段在邏輯上看起來可能相同,但它們在幕后的表現可能截然不同。

編輯:正如我所指出的,考慮到語言的動態特性,Python 特別可能無法優化其中任何一個;range函式和list型別可能都已從代碼的其他地方重新分配或更改沒有 python 優化領域的特定專業知識,我不能說他們做什么或不做什么。無論如何,我將此留在這里是為了對優化的一般概念進行啟發,但將我的錯誤作為“關于優化的推理很難”的案例課程。

綜上所述:FWIW,我強烈懷疑 python 解釋器足夠聰明,可以識別for i in nums[1:]實際上不應該分配新記憶體,而只是迭代一個切片。在我看來,這是一個非常常見用例的相對簡單、安全且有價值的轉換,因此我希望(高度優化的)python 解釋器能夠處理它。

EDIT2:作為最后的(自以為是的)說明,我對 Python 的信心不如對幾乎任何其他語言的信心,因為 Python 語法非常靈活并且允許很多奇怪的事情。這使得 python 解釋器(或人類,就此而言)更難自信地說任何話,因為“合法 python 代碼”的空間太大了。這就是為什么我更喜歡像 Rust 這樣更嚴格的語言的一個重要原因,它迫使程式員在行內著色,但會導致更可預測的行為。

EDIT3:作為最后的注釋,通常對于這樣的事情,最好相信執行環境正在處理這些低級優化。十分之九,在某些東西真正崩潰之前,不要嘗試解決這種性能問題。

uj5u.com熱心網友回復:

至于了解串列切片的作業原理,從語言參考Sequence Types — list, tuple, range,我們知道

s[i:j] - s 從 i 到 j 的切片被定義為索引為 k 的專案序列,使得 i <= k < j。

因此,切片創建了一個新序列,但我們不知道該序列是否是一個串列,或者是否有一些巧妙的方法使同一個串列物件以某種方式表示這兩個序列。這對于 python 語言規范來說并不奇怪,其中串列被描述為序列一般討論的一部分,并且該規范從未真正嘗試涵蓋物件實作的所有細節。

那是因為最后,類似的東西nums[1:]實際上只是 的語法糖nums.__getitem__(slice(1, None)),這意味著串列可以自己決定切片的含義。你需要去源代碼來實作。請參閱listobject.clist_subscript中的函式

但我們可以試驗。查看for 陳述句的檔案,

for_stmt ::= "for" target_list "in" starred_list ":" suite ["else" ":" suite] starred_list 運算式求值一次;它應該產生一個可迭代的物件。

因此,nums[1:]是一個必須產生可迭代物件的運算式,我們可以將該物件分配給一個中間變數。

nums = [1 ,2, 3]
tmp = nums[1:]
for item in tmp:
    pass

tmp[0] = "new stuff"

assert id(nums) != id(tmp), "List slice creates a new object"
assert type(tmp) == type(nums), "List slice creates a new list"
assert 999 not in nums, "List slice doesn't affect original"

運行它,如果沒有出現任何斷言錯誤,您就知道創建了一個新串列。

其他類似序列的物件可能會完全不同。例如,在 numpy 陣列中,兩個陣列物件可能確實參考相同的記憶體。在此示例中,將引發最終斷言,因為切片是同一陣列的另一個視圖。是的,這會讓你徹夜難眠。

import numpy as np

nums = np.array([1,2,3])
tmp = nums[1:]
for item in tmp:
    pass

tmp[0] = 999

assert id(nums) != id(tmp), "array slice creates a new object"
assert type(tmp) == type(nums), "array slice creates a new list"
assert 999 not in nums, "array slice doesn't affect original"

uj5u.com熱心網友回復:

您可以使用新的 Walrus 運算子:=來捕獲 Python 為切片創建的臨時物件。一點調查表明它們不是同一個物件。

import sys
print(sys.version)

a = list(range(1000))
for i in (b := a[1:]):
    b[0] = 906
print(b is a)
print(a[:10])
print(b[:10])
print(sys.getsizeof(a))
print(sys.getsizeof(b))

生成以下輸出:

3.11.0 (main, Nov  4 2022, 00:14:47) [GCC 7.5.0]
False
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
[906, 2, 3, 4, 5, 6, 7, 8, 9, 10]
8056
8048

Godbolt Compiler Explorer上親自查看,您還可以在其中查看編譯器生成的代碼。

轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/536579.html

標籤:python-3.x列表for循环记忆可迭代的

上一篇:Python:在回圈中有效地將多個分類特征轉換為虛擬變數?

下一篇:while回圈不會無限進行但for回圈可以嗎?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • Git本地庫既關聯GitHub又關聯Gitee

    創建代碼倉庫 使用gitee舉例(github和gitee差不多) 1.在gitee右上角點擊+,選擇新建倉庫 ? 2.選擇填寫倉庫資訊,然后進行創建 ? 3.服務端已經準備好了,本地開始作準備 (1)Git 全域設定 git config --global user.name "成鈺" git c ......

    uj5u.com 2020-09-10 05:04:14 more
  • CODING DevOps 代碼質量實戰系列第二課,相約周三

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。**《DevOps 代碼質量實戰(PHP 版)》**為 CODING DevOps 代碼質量實戰系列的第二課,同時也是本系列的 PHP ......

    uj5u.com 2020-09-10 05:07:43 more
  • 推薦Scrum書籍

    推薦Scrum書籍 直接上干貨,推薦書籍清單如下(推薦有順序的哦) Scrum指南 Scrum精髓 Scrum敏捷軟體開發 Scrum捷徑 硝煙中的Scrum和XP : 我們如何實施Scrum 敏捷軟體開發:Scrum實戰指南 Scrum要素 大規模Scrum:大規模敏捷組織的設計 用戶故事地圖 用 ......

    uj5u.com 2020-09-10 05:07:45 more
  • CODING DevOps 代碼質量實戰系列最后一課,周四發車

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。 **《DevOps 代碼質量實戰(Java 版)》**為 CODING DevOps 代碼質量實戰系列的最后一課,同時也是本系列的 ......

    uj5u.com 2020-09-10 05:07:52 more
  • 敏捷軟體工程實踐書籍

    Scrum轉型想要做好,第一步先了解并真正落實Scrum,那么我推薦的Scrum書籍是要看懂并實踐的。第二步是團隊的工程實踐要做扎實。 下面推薦工程實踐書單: 重構:改善既有代碼的設計 決議極限編程 : 擁抱變化 代碼整潔代碼 程式員的職業素養 修改代碼的藝術 撰寫可讀代碼的藝術 測驗驅動開發 : ......

    uj5u.com 2020-09-10 05:07:55 more
  • Jenkins+svn+nginx實作windows環境自動部署vue前端專案

    前面文章介紹了Jenkins+svn+tomcat實作自動化部署,現在終于有空抽時間出來寫下Jenkins+svn+nginx實作自動部署vue前端專案。 jenkins的安裝和配置已經在前面文章進行介紹,下面介紹實作vue前端專案需要進行的哪些額外的步驟。 注意:在安裝jenkins和nginx的 ......

    uj5u.com 2020-09-10 05:08:49 more
  • CODING DevOps 微服務專案實戰系列第一課,明天等你

    CODING DevOps 微服務專案實戰系列第一課**《DevOps 微服務專案實戰:DevOps 初體驗》**將由 CODING DevOps 開發工程師 王寬老師 向大家介紹 DevOps 的基本理念,并探討為什么現代開發活動需要 DevOps,同時將以 eShopOnContainers 項 ......

    uj5u.com 2020-09-10 05:09:14 more
  • CODING DevOps 微服務專案實戰系列第二課來啦!

    近年來,工程專案的結構越來越復雜,需要接入合適的持續集成流水線形式,才能滿足更多變的需求,那么如何優雅地使用 CI 能力提升生產效率呢?CODING DevOps 微服務專案實戰系列第二課 《DevOps 微服務專案實戰:CI 進階用法》 將由 CODING DevOps 全堆疊工程師 何晨哲老師 向 ......

    uj5u.com 2020-09-10 05:09:33 more
  • CODING DevOps 微服務專案實戰系列最后一課,周四開講!

    隨著軟體工程越來越復雜化,如何在 Kubernetes 集群進行灰度發布成為了生產部署的”必修課“,而如何實作安全可控、自動化的灰度發布也成為了持續部署重點關注的問題。CODING DevOps 微服務專案實戰系列最后一課:**《DevOps 微服務專案實戰:基于 Nginx-ingress 的自動 ......

    uj5u.com 2020-09-10 05:10:00 more
  • CODING 儀表盤功能正式推出,實作作業資料可視化!

    CODING 儀表盤功能現已正式推出!該功能旨在用一張張統計卡片的形式,統計并展示使用 CODING 中所產生的資料。這意味著無需額外的設定,就可以收集歸納寶貴的作業資料并予之量化分析。這些海量的資料皆會以圖表或串列的方式躍然紙上,方便團隊成員隨時查看各專案的進度、狀態和指標,云端協作迎來真正意義上 ......

    uj5u.com 2020-09-10 05:11:01 more
最新发布
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:41:12 more
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:35:34 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:05:44 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:00:18 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:20:31 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:55 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:18:51 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:00 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:17:55 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:12:06 more