目錄
- 前言
- 1.資料形狀改變
- 1.1 陣列變形
- 1.2 陣列堆疊
- 1.3 陣列拆分
- 1.4 陣列轉置
- 2.廣播機制
- 2.1 一維陣列的廣播
- 2.2 二維陣列的廣播
- 2.3 三維陣列的廣播
- 3.通用函式
- 3.1 元素級數字函式
- 3.2 where函式
- 3.3排序方法
- 3.4 集合運算函式
- 3.5數學和統計函式
- 4.矩陣運算
- 4.1 矩陣的乘法
- 4.2 矩陣的其他運算
- 5.訓練場
- 5.1 給定一個4維矩陣,如何得到最后兩維的和?(提示,指定axis進行計算)
- 5.2 給定陣列[1, 2, 3, 4, 5],如何得到在這個陣列的每個元素之間插入3個0后的新陣列?
- 5.3 給定一個二維矩陣(5行4列),如何交換其中兩行的元素(提示:任意調整,花式索引)?
- 5.4 創建一個100000長度的隨機陣列,使用兩種方法對其求三次方(1、for回圈;2、NumPy自帶方法),并比較所用時間
- 5.5 創建一個5行3列隨機矩陣和一個3行2列隨機矩陣,求矩陣積
- 5.6 矩陣的每一行的元素都減去該行的平均值(注意,平均值計算時指定axis,以及減法操作時形狀改變)
- 5.7 列印出以下函式(要求使用np.zeros創建8*8的矩陣):
- 5.8 正則化一個5行5列的隨機矩陣(資料統一變成0~1之間的數字,相當于進行縮小)
- 5.9 如何根據兩個或多個條件過濾numpy陣列,加載鳶尾花資料,根據第一列小于5.0并且第三列大于1.5作為條件,進行資料篩選,(提示,需要使用邏輯與運算:&)
- 5.10 計算鳶尾花資料每一行的softmax得分(exp表示自然底數e的冪運算)
前言
本文其實屬于:Python的進階之道【AIoT階段一】的一部分內容,本篇把這部分內容單獨截取出來,方便大家的觀看,本文介紹 NumPy 高級,學習之前需要學習:NumPy入門
1.資料形狀改變
1.1 陣列變形
🚩我們可以使用 reshape() 方法,把陣列任意的進行形狀的變化:
import numpy as np
nd2 = np.random.randint(0, 100, size = (3, 4))
display(nd2)
# 資料重塑 reshape
# 我們的 nd2 是一個三行四列的陣列,我們可以把它變成四行三列
display(nd2.reshape(4, 3))
# 再來舉例,我們把它變成兩行六列
# 方法一:
display(nd2.reshape(2, 6))
# 方法二:
display(nd2.reshape(-1, 6))
# -1 表示的是最后計算:相當于 x * 6 = 3 * 4 ---> x = 2
# -1 適合不關心總數的情況,不關心總數是多少,比較靈活
display(nd2.reshape(-1))
# 相當于 x = 3 * 4 ---> x = 12

1.2 陣列堆疊
🚩我們可以使用 concatenate() 進行陣列的合并:
arr1 = np.random.randint(0, 10, size = (2, 4))
arr2 = np.random.randint(0, 10, size = (2, 4))
display(arr1, arr2)
# 合并,默認進行(xing)行(hang)合并
display(np.concatenate([arr1, arr2]))
# 我們還可以合并多個
display(np.concatenate([arr1, arr2, arr1]))

那么我們是否可以合并一個三行四列的陣列和一個四行三列的陣列呢?

真的沒有辦法了么?其實不然,我們通過觀察這兩個陣列可以發現,雖然這兩個陣列的列數不同,但是這兩個陣列的行數是相同的,故我們可以進行列合并:
arr1 = np.random.randint(0, 10, size = (3, 5))
arr2 = np.random.randint(0, 10, size = (3, 4))
display(arr1, arr2)
# axis = 0(默認值),代表行
# axis = 1表示列,-1也可以表示
display(np.concatenate([arr1, arr2], axis = 1))
display(np.concatenate([arr1, arr2], axis = -1))

1.3 陣列拆分
🚩使用 split() 函式可以把陣列進行拆分:
nd = np.random.randint(0, 100, size = (6, 9))
display(nd)
# 行拆分
display(np.split(nd, 2)) # 平均拆分為2份
display(np.split(nd, 3)) # 平均拆分為3份

我們還可以不是平均拆分:
nd = np.random.randint(0, 100, size = (6, 9))
display(nd)
# 串列表示按節點進行拆分
np.split(nd, [1, 4, 5])
# 1 切一刀,4 切一刀,5 切一刀
# 分成了 [0, 1) [1, 4) [4, 5) [5, 6)

我們不僅可以拆分行,也可以拆分列,還是和 2.1.2 陣列堆疊 一樣,引數 axis = 0(默認值),代表行,axis = 1,代表列
nd = np.random.randint(0, 100, size = (6, 9))
display(nd)
np.split(nd, 3, axis = 1) # 平均拆成三分(列拆分)
# 串列表示按節點進行拆分
np.split(nd, [1, 4, 5], axis = 1)
# 1 切一刀,4 切一刀,5 切一刀
# 分成了 [0, 1) [1, 4) [4, 5) [5, 9)

1.4 陣列轉置
🚩對于陣列的轉置,我們可以利用 T 進行轉置,也可以使用 numpy 中的 transpose() 方法:
A = np.random.randint(0, 10, size = (3, 5))
display(A)
# 所謂轉置就是行變列,列邊行
display(A.T)
# 還可以按照下面的方法進行轉置
display(np.transpose(A, axes = [1, 0]))

2.廣播機制
🚩所謂廣播,就是對原本資料的不斷復制,復制到和目標陣列相同的構造的時候,比如我們有一個三行四列的陣列,要加一行四列的陣列,那么一行四列的陣列就會自己復制三份,變成三行四列的陣列,其中每一行都和原本陣列的值相同,變成這種形式之后,再和原三行四列的陣列進行相加運算,下面,我們從三個方面進行代碼演示:一維陣列的廣播,二維陣列的廣播,三維陣列的廣播,
2.1 一維陣列的廣播

arr1 = np.random.randint(0, 10, size = (5, 3))
arr2 = np.arange(1, 4)
display(arr1, arr2)
# arr1 有五行,arr2 只有一行
# 它們倆的相加就是通過廣播機制
# 廣播機制:arr2 變身,變成了五份(一模一樣)
# 每一份對應每一行的相加
arr1 + arr2

2.2 二維陣列的廣播

arr3 = np.random.randint(0, 10, size = (4, 5))
# 計算每一行的平均值
arr4 = arr3.mean(axis = 1)
display(arr3, arr4)
# 注意 arr3 每一行5個數,arr4一行中為4個數
arr3 - arr4 # 形狀不匹配,所以報錯

因為形狀不匹配的原因,故會報錯,我們可以使用 2.1.1 陣列變形 中的 reshape() 方法,對陣列進行更改:
arr3 = np.random.randint(0, 10, size = (4, 5))
# 計算每一行的平均值
arr4 = arr3.mean(axis = 1)
display(arr3, arr4)
# 形狀改變,arr4改為了四行一列
display(arr4.reshape(4, 1))
# arr3為四行五列
arr3 - arr4.reshape(4, 1)

2.3 三維陣列的廣播

import numpy as np
arr1 = np.array([0,1,2,3,4,5,6,7]*3).reshape(3,4,2) #shape(3,4,2)
arr2 = np.array([0,1,2,3,4,5,6,7]).reshape(4,2) #shape(4,2)
print('三維陣列:')
display(arr1)
print('二維陣列:')
display(arr2)
arr3 = arr1 + arr2 # arr2陣列在0維上復制3份 shape(3,4,2)
arr3


3.通用函式
3.1 元素級數字函式
🚩NumPy 中和數學相關的函式有很多:abs、sqrt、square、exp、log、sin、cos、tan,maxinmum、minimum、all、any、inner、clip、round、trace、ceil、floor,下面我們挑幾個常用的進行代碼演示,感興趣的讀者可以自己搜索其他函式的用法并實踐,這里不做過多演示:
# 圓周率
display(np.pi)
# 計算 sin90°
display(np.sin(90)) # 這是不合法的,90是int型,而非度數
display(np.sin(np.pi / 2)) # pi 是 180°,故 pi / 2 就代表 90°
# 計算 cos90°
display(np.cos(np.pi / 2))

一個很有意思的現象出現了,計算 cos90°的結果并不顯示0,而是顯示e-7,這是因為我們在計算的程序中會有精度問題,故我們一般表示0即當一個數小于一個很小的數的時候,我們就認為這個數為0,我們可以使用 round(n) 函式讓它保留n位小數:
# 保留一位小數:
display(np.cos(np.pi / 2).round(1))
# 保留五位小數:
display(np.cos(np.pi / 2).round(5))

可以看到,就算我們保留五位小數,依舊是0,故我們認為這個數是0
# 開平方
display(np.sqrt(1024))
# 平方
display(np.square(8))
# 冪運算
display(np.power(2, 3)) # 計算2的3次方
# log運算
display(np.log2(16)) # 計算log以2為底16的對數

# 依次比較兩個等長陣列,回傳對應位置元素的最大值
x = np.array([6, 6, 0, 7, 2, 5])
y = np.array([9, 5, 6, 3, 4, 2])
display(np.maximum(x, y))
# 依次比較兩個等長陣列,回傳對應位置元素的最小值
x = np.array([6, 6, 0, 7, 2, 5])
y = np.array([9, 5, 6, 3, 4, 2])
display(np.minimum(x, y))

# 回傳一維陣列向量內積
arr = np.random.randint(0, 10, size = (2, 2))
display(arr)
np.inner(arr[0], arr)

a = 6.66666
# 向上取整
display(np.ceil(a))
# 向下取整
display(np.floor(a))

# 裁剪,小于就拔高,大于就降低
arr = np.random.randint(0, 30, size = 20)
display(arr)
# 10:小于10:變成10;
# 20:大于20:變成20
np.clip(arr, 10, 20)

3.2 where函式
import numpy as np
arr1 = np.array([9, 7, 9, 9, 6])
arr2 = np.array([2, 1, 2, 0, 6])
cnt = np.array([False, False, True, False, True])
# 根據條件進行篩選
display(np.where(cnt,arr1,arr2)) # True選擇arr1,False選擇arr2的值
arr3 = np.random.randint(0, 30, 20)
display(arr3)
# 如果 arr3 的元素值小于15就輸出,否則輸出-15
display(np.where(arr3 < 15, arr3, -15))

3.3排序方法
🚩NumPy中還提供了排序方法,排序方法是就地排序,即直接改變原陣列:
arr.sort()、np.sort()、arr.argsort()
import numpy as np
arr = np.array([14, 9, 13, 13, 18, 18, 18, 7, 5, 11])
# 直接讓原陣列從小到大進行排序
arr.sort()
display(arr)
# 回傳深拷貝排序結果
np.sort(arr)
arr = np.array([14, 9, 13, 13, 18, 18, 18, 7, 5, 11])
display(arr)
# 回傳從小到大排序的索引
display(arr.argsort())

3.4 集合運算函式
A = np.array([6, 8, 9, 1, 4])
B = np.array([3, 6, 5, 7, 1])
# 計算交集
display(np.intersect1d(A, B))
# 計算并集
display(np.union1d(A, B))
# 計算差集
display(np.setdiff1d(A, B))

3.5數學和統計函式
🚩我們挑幾個常用的函式進行代碼演示,剩余的函式有興趣的讀者可以自行查閱用法自己演示,min、max、mean、median、sum、std、var、cumsum、cumprod、argmin、argmax、argwhere、cov、corrcoef
import numpy as np
arr1 = np.array([5, 90, 87, 35, 23, 6, 39, 39, 99, 79, 72, 94, 97, 13, 84])
# 計算陣列中的最小值
display(arr1.min())
# 計算陣列中的最大值的索引
display(arr1.argmax())
# 回傳大于40的元素的索引
display(np.argwhere(arr1 > 40))
# 計算陣列的累加和
display(np.cumsum(arr1))
arr2 = np.random.randint(0, 10,size = (4, 5))
display(arr2)
# 計算列的平均值
display(arr2.mean(axis = 0))
# 計算行的平均值
display(arr2.mean(axis = 1))
# 協方差矩陣
display(np.cov(arr2, rowvar = True))
# 相關性系數
display(np.corrcoef(arr2, rowvar = True))

4.矩陣運算
4.1 矩陣的乘法
#矩陣的乘積(點乘)
A = np.array([[2, 1, 7],
[6, 3, 4]]) # shape(2, 3)
B = np.array([[4, 3],
[0, 9],
[-5, -8]]) # shape(3, 2)
# 第一種方法
display(np.dot(A,B))
# 第二種方法
display(A @ B) # 符號 @ 表示矩陣乘積運算
# 第三種方法
display(A.dot(B))
4.2 矩陣的其他運算
np.set_printoptions(suppress = True) # 不使用科學計數法
from numpy.linalg import inv,det,eig,qr,svd
A = np.array([[1, 2, 3],
[2, 3, 1],
[3, 2, 1]]) # shape(3, 3)
# 求逆矩陣
B = inv(A) # B 就是 A 的逆矩陣
display(B)
display(A.dot(B))
# 求矩陣的行列式
display(det(A))

5.訓練場
5.1 給定一個4維矩陣,如何得到最后兩維的和?(提示,指定axis進行計算)
import numpy as np
arr = np.random.randint(0, 10, size = (2, 3, 4, 5))
display(arr)
display(arr.sum(axis = 0)) # 第0維的資料進行加和
display(arr.sum(axis = 1)) # 第1維的資料進行加和
display(arr.sum(axis = -1)) # 最后一維的資料進行加和
# 最后兩維的和
# 寫法一:
display(arr.sum(axis = (-1, -2)))
# 寫法二:
display(arr.sum(axis = (2, 3)))

5.2 給定陣列[1, 2, 3, 4, 5],如何得到在這個陣列的每個元素之間插入3個0后的新陣列?
import numpy as np
arr1 = np.arange(1, 6)
display(arr1)
# 每個元素之間插入3個0,共插入3*4=12個0
# 再加上初始的5個值,共需要17個位置
# 創建一個長度為17的全部是0的陣列
arr2 = np.zeros(shape = 17, dtype = np.int16)
display(arr2)
# 有間隔的,每4個取一個,取出資料并進行替換
arr2[::4] = arr1
display(arr2)

5.3 給定一個二維矩陣(5行4列),如何交換其中兩行的元素(提示:任意調整,花式索引)?
import numpy as np
arr = np.random.randint(0, 100, size = (5, 4))
display(arr)
# 使用花式索引進行交換
arr = arr[[0, 2, 1, 3, 4]]
display(arr)

5.4 創建一個100000長度的隨機陣列,使用兩種方法對其求三次方(1、for回圈;2、NumPy自帶方法),并比較所用時間
%%time:可以顯示代碼的運行時間,這個執行時間會和電腦的性能掛鉤
使用 for 回圈
%%time
import numpy as np
arr = np.random.randint(0, 10, size = 100000)
res = []
for item in arr:
res.append(item ** 3)

使用NumPy自帶方法
%%time
import numpy as np
arr = np.random.randint(0, 10, size = 100000)
res = []
arr2 = np.power(arr, 3)

可以發現,使用 NumPy 自帶方法運行效率要遠遠高于使用 for 回圈
5.5 創建一個5行3列隨機矩陣和一個3行2列隨機矩陣,求矩陣積
import numpy as np
A = np.random.randint(0, 10, size = (5, 3))
B = np.random.randint(0, 10, size = (3, 2))
display(A, B)
# 呼叫 NumPy 函式 dot
print('方式一:\n', np.dot(A, B))
# 呼叫物件方法
print('方式二:\n', A.dot(B))
# 使用符號計算
print('方式三:\n', A @ B)

5.6 矩陣的每一行的元素都減去該行的平均值(注意,平均值計算時指定axis,以及減法操作時形狀改變)
import numpy as np
A = np.random.randint(0, 10, size = (4, 5))
display(A)
# 計算每一行的平均值:
B = A.mean(axis = 1)
display(B)
# 需要注意,我們計算的平均值是一行四列
# 但是我們要讓每一行的元素都減去該平均值
# 這就需要我們讓其形狀改變為四列一行
B = B.reshape(-1, 1)
# 然后利用廣播機制,即可進行計算
display(A - B)

5.7 列印出以下函式(要求使用np.zeros創建8*8的矩陣):
[[0 1 0 1 0 1 0 1]
[1 0 1 0 1 0 1 0]
[0 1 0 1 0 1 0 1]
[1 0 1 0 1 0 1 0]
[0 1 0 1 0 1 0 1]
[1 0 1 0 1 0 1 0]
[0 1 0 1 0 1 0 1]
[1 0 1 0 1 0 1 0]]
import numpy as np
arr = np.zeros(shape = (8, 8), dtype = np.int16)
# 將奇數行進行修改
arr[::2, 1::2] = 1
# 將偶數行進行修改
arr[1::2, ::2] = 1
display(arr)

5.8 正則化一個5行5列的隨機矩陣(資料統一變成0~1之間的數字,相當于進行縮小)
正則的概念:矩陣A中的每一列減去這一列最小值,除以每一列的最大值減去每一列的最小值(提示:
軸axis給合適的引數!!!)
A = A ? A . m i n A . m a x ? A . m i n \rm{A = \frac{A - A.min}{A.max - A.min}} A=A.max?A.minA?A.min?
import numpy as np
A = np.random.randint(1, 10, size = (5, 5))
display(A)
# axis = 1 代表行
display(A.min(axis = 1))
# axis = 0 代表列
display(A.min(axis = 0))
# 根據公式計算
B = (A - A.min(axis = 0)) / (A.max(axis = 0) - A.min(axis = 0))
display(B)

5.9 如何根據兩個或多個條件過濾numpy陣列,加載鳶尾花資料,根據第一列小于5.0并且第三列大于1.5作為條件,進行資料篩選,(提示,需要使用邏輯與運算:&)
我們的資料:
鏈接:https://pan.baidu.com/s/1VaPHJa6YttfnedO0ewDRtQ
提取碼:5u92
我們在下載好資料之后,把它移入到我們如下檔案夾中:(直接下載到桌面后,找到該檔案夾的位置,然后拖進去即可)


首先我們來介紹一下 .csv 檔案,它其實就是一個文本檔案,我們打開它(默認打開路徑為Excel)

我們也可以選擇打開方式為記事本方式:

通過觀察不難看出,資料之間通過,相隔
接下來介紹一個新方法:loadtxt(),其作用為加載資料,比如:np.loadtxt('./iris.csv', delimiter = ','),其作用為打開路徑'./iris.csv'的檔案,這些資料直接通過,進行分隔,
import numpy as np
# 加載了文本檔案,儲存資料都是結構化資料
iris = np.loadtxt('./iris.csv', delimiter = ',')
display(iris)

可以看出,這些資料是以二維陣列的形式展開的,每一維都有四個資料,分別代表:花萼長度,花萼寬度,花瓣長度,花瓣寬度
import numpy as np
# 加載了文本檔案,儲存資料都是結構化資料
# 花萼長度、花萼寬度、花瓣長度、花瓣寬度
iris = np.loadtxt('./iris.csv', delimiter = ',')
# 第一列小于5.0
cnt1 = iris[:, 0] < 5
# 第三列大于1.5
cnt2 = iris[:, 2] > 1.5
# 邏輯與運算
cnt = cnt1 & cnt2
display(iris[cnt])

5.10 計算鳶尾花資料每一行的softmax得分(exp表示自然底數e的冪運算)

import numpy as np
iris = np.loadtxt('./iris.csv', delimiter = ',')
def softmax(x):
exp = np.exp(x)
# 每一行求和,并且進行形狀改變(變成二維,可進行廣播)
# axis = 1 表示計算每一行的和
res = exp / exp.sum(axis = 1).reshape(-1, 1)
return res.round(3) # 保留3位小數
res = softmax(iris)
display(res)

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/413611.html
標籤:其他
