本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理
以下文章來源于Python 實用寶典，作者Python 實用寶典
前言
串列去重是Python中一種常見的處理方式，任何編程場景都可能會遇到需要串列去重的情況，
串列去重的方式有很多，本文將一一講解他們，并進行性能的對比，
讓我們先制造一些簡單的資料，生成0到99的100萬個亂數：
from random import randrange
DUPLICATES = [randrange(100) for _ in range(1000000)]接下來嘗試這4種去重方式中最簡單最直觀的一種方法：
1.新建一個陣列，遍歷原陣列，如果值不在新陣列里便加入到新陣列中，
# 第一種方式
def easy_way():
unique = []
for element in DUPLICATES:
if element not in unique:
unique.append(element)
return unique進入ipython使用timeit計算其去重耗時：
%timeit easy_way()
# 1.16 s ± 137 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
平均耗時在1.16秒左右，但是在這個例子中我們使用了陣列作為存盤物件，實際上如果我們改成集合存盤去重后的結果，性能會快不少：
def easy_way():
unique = set()
for element in DUPLICATES:
if element not in unique:
unique.add(element)
return unique%timeit easy_way()
# 48.4 ms ± 11.6 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)平均耗時在48毫秒左右，改善明顯，這是因為集合和陣列的內在資料結構完全不同，集合使用了哈希表，因此速度會比串列快許多，但缺點在于無序，
接下來看看第2種方式：
2.直接對陣列進行集合轉化，然后再轉回陣列：
# 第二種去重方式
def fast_way()
return list(set(DUPLICATES))耗時：
%timeit fast_way()
# 14.2 ms ± 1.73 ms per loop (mean ± std. dev. of 7 runs, 100 loops each)平均耗時14毫秒，這種去重方式是最快的，但正如前面所說，集合是無序的，將陣列轉為集合后再轉為串列，就失去了原有串列的順序，
如果現在有保留原陣列順序的需要，那么這個方式是不可取的，怎么辦呢？
3.保留原有陣列順序的去重
使用dict.fromkeys()函式，可以保留原有陣列的順序并去重：
def save_order():
return list(dict.fromkeys(DUPLICATES))當然，它會比單純用集合進行去重的方式耗時稍微久一點：
%timeit save_order()
# 39.5 ms ± 8.66 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)平均耗時在39.5毫秒，我認為這是可以接受的耗時，畢竟保留了原陣列的順序，
但是，dict.fromkeys()僅在Python3.6及以上才支持，
如果你是Python3.6以下的版本，那么可能要考慮第四種方式了，
4. Python3.6以下的串列保留順序去重
在Python3.6以下，其實也存在fromkeys函式，只不過它由collections提供：
from collections import OrderedDict
def save_order_below_py36():
return list(OrderedDict.fromkeys(DUPLICATES))耗時：
%timeit save_order_below_py36()
# 71.8 ms ± 16.9 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)平均耗時在72毫秒左右，比 Python3.6 的內置dict.fromkeys()慢一些，這是因為OrderedDict是用純Python實作的，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/193878.html
標籤：Python