從 Numpy nd-array 開始:
>>> arr
[
[
[10, 4, 5, 6, 7],
[11, 1, 2, 3, 4],
[11, 5, 6, 7, 8]
],
[
[12, 4, 5, 6, 7],
[12, 1, 2, 3, 4],
[12, 5, 6, 7, 8]
],
[
[15, 4, 5, 6, 7],
[15, 1, 2, 3, 4],
[15, 5, 6, 7, 8]
],
[
[13, 4, 5, 6, 7],
[13, 1, 2, 3, 4],
[14, 5, 6, 7, 8]
],
[
[10, 4, 5, 6, 7],
[11, 1, 2, 3, 4],
[12, 5, 6, 7, 8]
]
]
我只想保留在位置 0 只有一個唯一值的 3 個子陣列的序列,以便獲得以下內容:
>>> new_arr
[
[
[12, 4, 5, 6, 7],
[12, 1, 2, 3, 4],
[12, 5, 6, 7, 8]
],
[
[15, 4, 5, 6, 7],
[15, 1, 2, 3, 4],
[15, 5, 6, 7, 8]
]
]
從初始陣列中arr[0],arr[3]和arr[4]被丟棄,因為它們在位置上都有多個唯一值0(分別為[10, 11]、[13, 14]和[10, 11, 12])。
我嘗試擺弄,numpy.unique()但只能獲得0所有子陣列中位置處的全域唯一值,這不是這里需要的。
- 編輯
以下似乎讓我更接近解決方案:
>>> np.unique(arr[0, :, 0])
array([10, 11])
但是我不確定如何在arr不使用 Python 回圈的情況下獲得比這更高的級別,并為每個子陣列設定條件。
uj5u.com熱心網友回復:
我讓它在沒有任何移調的情況下作業。
arr = np.array(arr)
arr[np.all(arr[:, :, 0] == arr[:, :1, 0], axis=1)]
uj5u.com熱心網友回復:
我很想看看這些方法是如何比較的,所以我使用一個大型的(4000000, 4, 4).
結果
--------------------------------------------------------------------------------------- benchmark: 4 tests ---------------------------------------------------------------------------------------
Name (time in ms) Min Max Mean StdDev Median IQR Outliers OPS Rounds Iterations
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
test_np_arr_T 128.3483 (1.0) 130.5462 (1.0) 129.0869 (1.0) 0.9536 (1.01) 128.5447 (1.0) 1.5660 (1.83) 2;0 7.7467 (1.0) 8 1
test_np_arr 128.5017 (1.00) 131.2399 (1.01) 129.2841 (1.00) 0.9414 (1.0) 128.9724 (1.00) 0.8553 (1.0) 1;1 7.7349 (1.00) 7 1
test_pure_py_set 2,840.2911 (22.13) 2,849.0413 (21.82) 2,844.4716 (22.04) 3.8494 (4.09) 2,846.1608 (22.14) 6.4168 (7.50) 3;0 0.3516 (0.05) 5 1
test_pure_py 3,688.4772 (28.74) 3,750.0933 (28.73) 3,717.3411 (28.80) 24.7294 (26.27) 3,707.3502 (28.84) 37.1902 (43.48) 2;0 0.2690 (0.03) 5 1
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
這些基準測驗使用pytest-benchmark,所以我會venv為運行這個做一個:
python3 -m venv venv
. ./venv/bin/activate
pip install numpy pytest pytest-benchmark
運行測驗:
pytest test_runs.py
測驗運行.py
import numpy as np
# No guarantee this will produce sub-arrays with shared first index
ARR = np.random.randint(low=0, high=10, size=(4_000_000, 4, 4)).tolist()
# ARR = [
# [[10, 4, 5, 6, 7], [11, 1, 2, 3, 4], [11, 5, 6, 7, 8]],
# [[12, 4, 5, 6, 7], [12, 1, 2, 3, 4], [12, 5, 6, 7, 8]],
# [[15, 4, 5, 6, 7], [15, 1, 2, 3, 4], [15, 5, 6, 7, 8]],
# [[13, 4, 5, 6, 7], [13, 1, 2, 3, 4], [14, 5, 6, 7, 8]],
# [[10, 4, 5, 6, 7], [11, 1, 2, 3, 4], [12, 5, 6, 7, 8]],
# ]
def pure_py(arr):
new_array = []
for i, v in enumerate(arr):
first_elems = [x[0] for x in v]
if all(elem == first_elems[0] for elem in first_elems):
new_array.append(arr[i])
return new_array
def pure_py_set(arr):
new_array = []
for sub_arr in arr:
if len(set(x[0] for x in sub_arr)) == 1:
new_array.append(sub_arr)
return new_array
def np_arr(arr):
return arr[np.all(arr[:, :, 0] == arr[:, :1, 0], axis=1)]
def np_arr_T(arr):
return arr[(arr[:, :, 0].T == arr[:, 0, 0]).T.all(axis=1)]
def np_not_arr(arr):
arr = np.array(arr)
return arr[np.all(arr[:, :, 0] == arr[:, :1, 0], axis=1)]
RES = np_not_arr(ARR).tolist()
def test_pure_py(benchmark):
res = benchmark(pure_py, ARR)
assert res == RES
def test_pure_py_set(benchmark):
res = benchmark(pure_py_set, ARR)
assert res == RES
def test_np_arr(benchmark):
ARR_ = np.array(ARR)
res = benchmark(np_arr, ARR_)
assert res.tolist() == RES
def test_np_arr_T(benchmark):
ARR_ = np.array(ARR)
res = benchmark(np_arr_T, ARR_)
assert res.tolist() == RES
uj5u.com熱心網友回復:
受到以編輯形式回答問題的嘗試的啟發(我拒絕了,因為它應該是一個答案),這里有一些作業:
>>> arr[(arr[:,:,0].T == arr[:,0,0]).T.all(axis=1)]
[
[
[12, 4, 5, 6, 7],
[12, 1, 2, 3, 4],
[12, 5, 6, 7, 8]
],
[
[15, 4, 5, 6, 7],
[15, 1, 2, 3, 4],
[15, 5, 6, 7, 8]
]
]
訣竅是轉置結果,以便:
# all 0-th positions of each subarray
arr[:,:,0].T
# the first 0-th position of each subarray
arr[:,0,0]
# whether each 0-th position equals the first one
(arr[:,:,0].T == arr[:,0,0]).T
# keep only the sub-array where the above is true for all positions
(arr[:,:,0].T == arr[:,0,0]).T.all(axis=1)
# lastly, apply this indexing to the initial array
arr[(arr[:,:,0].T == arr[:,0,0]).T.all(axis=1)]
uj5u.com熱心網友回復:
好的,我已經比較了這個問題的兩種解決方案。有 numpy(@rchome 的腳本)和沒有它 - 純 python
new_array = []
for i, v in enumerate(arr):
first_elems = [x[0] for x in v]
if all(elem == first_elems[0] for elem in first_elems):
new_array.append(arr[i])
此代碼執行時間 = ( - 0:00:00.000015)
arr = np.array(arr)
new_array = arr[np.all(arr[:, :, 0] == arr[:, :1, 0], axis=1)]
此代碼執行時間 = ( - 0:00:00.000060)
因此,使用 numpy 需要大約 4 倍的時間。但我們必須記住,這個陣列非常小。也許使用更大的陣列 numpy 會作業得更快:)
--編輯--我將陣列放大了大約 10 倍,這是我的結果:
- 蟒蛇:0:00:00.000205
- 麻木:0:00:00.002710
所以。也許對于這個任務使用 numpy 是多余的。
轉載請註明出處,本文鏈接:https://www.uj5u.com/qukuanlian/368762.html
