目錄
- 前言
- 1.資料重塑
- 1.1 一般資料
- 1.2 多層索引
- 1.3 多層索引的運算
- 2.數學和統計方法
- 2.1 簡單統計指標
- 2.2 索引標簽、位置獲取
- 2.3 更多統計指標
- 2.4 高級統計指標
- 3.資料排序
- 3.1 根據索引行列名進行排序
- 3.2 屬性值排序
- 3.3 回傳屬性n大或者n小的值
- 4.分箱操作
- 4.1 等寬分箱
- 4.2 指定寬度分箱
- 4.3 等頻分箱
- 5.分組聚合
- 5.1 分組
- 5.2 分組聚合apply、transform
- 5.3 分組聚合agg
- 5.4 透視表pivot_table
- 6.資料可視化
- 6.1 線形圖
- 6.2 條形圖
- 6.3 餅圖
- 6.4 散點圖
- 6.5 面積圖
- 7.訓練場
- 7.1 找到一班(名字后面跟的數字表示班級),獲取班級將其男生1000米跑,成績繪制線形圖
- 7.2 對各項體側指標進行分箱操作:不及格(0\~59)、及格(60\~69)、中等(70\~79)、良好(80\~89)、優秀(90~100)
- 7.3 繪制全校男生1000米跑和男跳遠的條形圖(分箱操作后統計各個成績水平數量)
- 7.4 繪制全校女生50米跑和女仰臥的餅圖(分箱操作后統計各個成績水平的數量)
- 7.5 繪制男跳遠、女跳遠的堆疊條形圖(分箱操作后統計各個成績水平的數量)
前言
本文其實屬于:Python的進階之道【AIoT階段一】的一部分內容,本篇把這部分內容單獨截取出來,方便大家的觀看,本文介紹 pandas 高級,讀本文之前建議先修:pandas 入門,pandas 高級
1.資料重塑
🚩資料重塑其實就是行變列,列變行
1.1 一般資料
import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 100, size = (10, 3)),
index = list('ABCDEFHIJK'),
columns = ['Python', 'Tensorflow', 'Keras'])
display(df)
# 轉置
df.T

1.2 多層索引
df2 = pd.DataFrame(data = np.random.randint(0, 100, size = (20, 3)),
index = pd.MultiIndex.from_product([list('ABCDEFHIJK'),
['期中', '期末']]),#多層索引
columns = ['Python', 'Tensorflow', 'Keras'])
df2

我們來解釋一下這個復雜的代碼:ndex = pd.MultiIndex.from_product([list('ABCDEFHIJK'), ['期中', '期末']]),我們的第一個引數:ABCDEFHIJK,共是
10
10
10 個字母,第二個引數是兩個字串,所以我們一共會有
20
20
20 行的資料,這正好對應了前面的代碼size = (20, 3),讀者自行理解下面這個代碼:
df3 = pd.DataFrame(data = np.random.randint(0, 100, size = (10, 6)),
index = list('ABCDEFHIJK'),
columns = pd.MultiIndex.from_product([['Python', 'Math', 'English'],
['期中', '期末']]))
df3

我們用 unstack() 完成多層索引行變列的資料重塑:
# 行索引變列索引,結構改變
# 默認情況下,最里層調整
df2.unstack()

可以看出來,只是把行索引最里層的期中期末 移到了列索引的位置,我們也可以把行索引外層的 ABCDEFHIJK 移動至列索引的位置:
df2.unstack(level = 0)

我們用 stack() 完成多層索引列變行的資料重塑:
# 列索引變行索引,結構改變
# 默認情況下,最里層調整
df3.stack()

同樣,我們通過調整引數可以實作使得列索引的最外層變成行索引:
df3.stack(level = 0)

1.3 多層索引的運算
sum() 求和運算:
df2.sum()

當然,這樣的資料一般是沒有意義的,我們一般想要求出每一位同學的總分,而不是每門科目的總分:
df2.sum(axis = 1)

# 期中,期末消失
# 計算的是每個人,期中期末的總分數
df2.sum(level = 0)

mean() 用來計算平均分:
# 同學消失
# 計算的是所有同學期中期末平均分
df2.mean(level = 1)

接下來簡單介紹一下如何取資料:
# df3是多層列索引,可以直接使用[],根據層級關系取資料
# 取出 A 同學的 Python 科目的期中成績
df3['Python', '期中']['A']

df2['Python']['A', '期中']

2.數學和統計方法
🚩pandas物件擁有一組常用的數學和統計方法,它們屬于匯總統計,對Series匯總計算獲取mean、max值或者對DataFrame行、列匯總計算回傳一個Series,
2.1 簡單統計指標
創建資料:
import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 100,size = (20, 3)),
index = list('ABCDEFHIJKLMNOPQRSTU'),
columns = ['Python', 'Tensorflow', 'Keras'])
df

我們現在來把一部分資料設定為空:
def convert(x):
if x > 80:
return np.NaN
else:
return x
df['Python'] = df['Python'].map(convert)
df['Tensorflow'] = df['Tensorflow'].apply(convert)
df['Keras'] = df['Keras'].transform(convert)
df

現在我們想知道到底有多少個空資料,我們可以自己去數,但這顯然是低效的方法,使用 count() 函式可以直接去統計有多少個非空資料:
df.count() # 統計非空資料的個數

我們重新來構造資料:
import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 100,size = (20, 3)),
index = list('ABCDEFHIJKLMNOPQRSTU'),
columns = ['Python', 'Tensorflow', 'Keras'])
df

使用 median() 可以計算資料的中位數:
df.median() # 中位數

display(df.quantile(q = 0.5)) # 回傳位于資料 50% 位置的數
display(df.quantile(q = 0.8)) # 回傳位于資料 80% 位置的數

我們也可以使用如下的方法實作同樣的效果:
df.quantile(q = [0.5, 0.8])

2.2 索引標簽、位置獲取
display(df['Python'].argmin()) # 計算最小值位置
display(df['Keras'].argmax()) # 最大值位置

display(df.idxmax()) # 最大值索引標簽
display(df.idxmin()) # 最小值索引標簽

索引就是自然數,標簽就是我們初始設定的 ABCD…,索引和標簽是一一對應的,如 0 對應的就是 A
2.3 更多統計指標
創建資料:
import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 5,size = (20, 3)),
index = list('ABCDEFHIJKLMNOPQRSTU'),
columns = ['Python', 'Tensorflow', 'Keras'])
df

使用 value_counts() 可以統計元素出現的次數:
# 統計元素出現次數
df['Python'].value_counts()

使用 unique() 可以實作去重:
# 去重
df['Python'].unique()

呼叫 cumsum() 實作累加,呼叫 cumprod() 實作累乘:
# 累加
display(df.cumsum())
# 累乘
display(df.cumprod())

cummin() 的作用是累計最小值,即碰到更小的數后,該數往后所有數都變成這個更小的數,cummax() 的作用是累計最大值,即碰到更大的數后,該數往后所有的數都變成這個更大的數:
# 累計最小值
display(df.cummin())
# 累計最大值
display(df.cummax())

計算標準差呼叫 std(),計算方差呼叫 var()
# 計算標準差
display(df.std())
# 計算方差
display(df.var())

計算差分使用 diff(),差分就是這一行減上一行的結果,計算百分比的變化使用 pct_change():
# 計算差分
# 差分:和上一行相減
display(df.diff())
# 計算百分比變化
display(df.pct_change())

2.4 高級統計指標
我們使用 cov() 和 corr() 用來分別計算協方差和相關性系數:
協方差: C o v ( X , Y ) = ∑ 1 n ( X i ? X  ̄ ) ( Y i ? Y  ̄ ) n ? 1 Cov(X,Y) = \frac{\sum_{1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}{n-1} Cov(X,Y)=n?1∑1n?(Xi??X)(Yi??Y)?
相關性系數: r ( X , Y ) = C o v ( X , Y ) V a r [ X ] V a r [ Y ] r(X,Y) = \frac{Cov(X,Y)}{\sqrt{Var[X]Var[Y]}} r(X,Y)=Var[X]Var[Y] ?Cov(X,Y)?
# 屬性的協方差
display(df.cov())
# Python和Keras的協方差
display(df['Python'].cov(df['Keras']))

# 所有屬性相關性系數
display(df.corr())
# 單一屬性相關性系數
display(df.corrwith(df['Tensorflow']))

3.資料排序
創建資料
import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 30, size = (30, 3)),
index = list('qwertyuioijhgfcasdcvbnerfghjcf'),
columns = ['Python', 'Keras', 'Pytorch'])
df

是一個看起來亂糟糟的資料,我們排序介紹三種方法
3.1 根據索引行列名進行排序
# 按行名排序,升序
display(df.sort_index(axis = 0, ascending = True))
# 按列名排序,降序
display(df.sort_index(axis = 1, ascending = False))

當然,按照索引行列名進行排序是不常用的,我們一般都是對資料進行排序
3.2 屬性值排序
# 按Python屬性值排序
display(df.sort_values(by = ['Python']))
# 先按Python,再按Keras排序
display(df.sort_values(by = ['Python', 'Keras']))

3.3 回傳屬性n大或者n小的值
# 根據屬性Keras排序,回傳最大3個資料
display(df.nlargest(3, columns = 'Keras'))
# 根據屬性Python排序,回傳最小5個資料
display(df.nsmallest(5, columns = 'Python'))

4.分箱操作
🚩分箱操作就是將連續資料轉換為分類對應物的程序,比如將連續的身高資料劃分為:矮中高,
分箱操作分為等距分箱和等頻分箱,
分箱操作也叫面元劃分或者離散化,
我們先來創建資料:
import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 150, size = (100, 3)),
columns = ['Python', 'Tensorflow', 'Keras'])
df

4.1 等寬分箱
🚩等寬分箱在實際操作中意義不大,因為我們一般都會給一個特定的分類標準,比如高于 60 是及格,等分在生活中應用并不多
# bins = 3 表示把 Python 成績劃分成三份
pd.cut(df.Python, bins = 3)

4.2 指定寬度分箱
🚩下述代碼就實作了自行定義寬度進行分箱操作,在下述帶啊中,不及格是
[
0
,
60
)
[0,60)
[0,60),中等是
[
60
,
90
)
[60, 90)
[60,90),良好是
[
90
,
120
)
[90, 120)
[90,120),優秀是
[
120
,
150
)
[120, 150)
[120,150) 均為左閉右開,這個是由 right = False 設定的
pd.cut(df.Keras, #分箱資料
bins = [0, 60, 90, 120, 150], # 分箱斷點
right = False, # 左閉右開
labels=['不及格', '中等', '良好', '優秀'])# 分箱后分類

4.3 等頻分箱
🚩等頻分箱是按照大家的普遍情況進行等分的操作
pd.qcut(df.Python,q = 4, # 4等分
labels=['差', '中', '良', '優']) # 分箱后分類

5.分組聚合
首先來創建資料:
import numpy as np
import pandas as pd
# 準備資料
df = pd.DataFrame(data = {'sex':np.random.randint(0, 2, size = 300), # 0男,1女
'class':np.random.randint(1, 9, size = 300),# 1~8八個班
'Python':np.random.randint(0, 151, size = 300),# Python成績
'Keras':np.random.randint(0, 151, size =300),# Keras成績
'Tensorflow':np.random.randint(0, 151, size = 300),
'Java':np.random.randint(0, 151,size = 300),
'C++':np.random.randint(0, 151, size = 300)})
df['sex'] = df['sex'].map({0:'男', 1:'女'}) # 將0,1映射成男女
df

5.1 分組
🚩根據性別分組并求出平均值,并把平均值保留一位小數:
df.groupby(by = 'sex').mean().round(1)

分組統計男女的數量:
df.groupby(by = 'sex').size()

根據性別和班級兩個屬性進行分組:
df.groupby(by = ['sex', 'class']).size()

獲取每個班,男生女生
P
y
t
h
o
n
,
J
a
v
a
Python,Java
Python,Java 最高分
df.groupby(by = ['sex', 'class'])[['Python', 'Java']].max()

我們通過多層索引的思想對上述代碼稍作調整:
df.groupby(by = ['class', 'sex'])[['Python', 'Java']].max()

再用之前學過的資料重塑,又可以稍加變形:
df.groupby(by = ['class', 'sex'])[['Python', 'Java']].max().unstack()

5.2 分組聚合apply、transform
🚩 a p p l y apply apply 回傳的是匯總后的情況,對于每一個分組大類都只回傳一個結果:
df.groupby(by = ['class','sex'])[['Python','Keras']].apply(np.mean).round(1)

t
r
a
n
s
f
o
r
m
transform
transform 是把所有的元素全部回傳:
df.groupby(by = ['class','sex'])[['Python','Keras']].transform(np.mean).round(1)

5.3 分組聚合agg
🚩agg 比起 apply 和 transform 來說,功能更加的強大
# 按照班級和性別進行劃分,統計 Tensorflow 和 Keras 這兩門學科的最大值,最小值,個數
df.groupby(by = ['class','sex'])[['Tensorflow','Keras']].agg(
[np.max, np.min, pd.Series.count])

# 分組后不同屬性應用多種不同統計匯總
# 對 Python 計算最大值和最小值
# 對 Keras 計數和計算中位數
df.groupby(by = ['class','sex'])[['Python','Keras']].agg(
{'Python':[('最大值',np.max),('最小值',np.min)],
'Keras':[('計數',pd.Series.count),('中位數',np.median)]})

5.4 透視表pivot_table
🚩所謂透視,其實就是發現事物的一定規律
def count(x):
return len(x)
df.pivot_table(values=['Python', 'Keras', 'Tensorflow'],# 要透視分組的值
index=['class', 'sex'], # 分組透視指標,相當于之前的 by
aggfunc={'Python':[('最大值', np.max)], # 聚合運算
'Keras':[('最小值', np.min),('中位數', np.median)],
'Tensorflow':[('最小值', np.min),('平均值', np.mean),('計數', count)]})

6.資料可視化
🚩修本章節之前需要安裝 m a t p l o t l i b matplotlib matplotlib,建議先修:matplotlib的安裝教程以及簡單呼叫
6.1 線形圖
df1 = pd.DataFrame(data = np.random.randn(1000, 4),
index = pd.date_range(start = '23/1/2022', periods = 1000),
columns=list('ABCD'))
df1.cumsum().plot()

6.2 條形圖
df2 = pd.DataFrame(data = np.random.rand(10, 4),
columns = list('ABCD'))
display(df2.plot.bar(stacked = True)) # stacked 堆疊
display(df2.plot.bar(stacked = False))# stacked 不堆疊

6.3 餅圖
# 餅圖用來表示百分比,百分比是自動計算的,顏色可以更換
df3 = pd.DataFrame(data = np.random.rand(4, 2),
index = list('ABCD'),
columns = ['One', 'Two'])
# subplots 表示兩個圖,多個圖
# figsize 表示尺寸
df3.plot.pie(subplots = True,figsize = (8, 8))

更換顏色:
# 更換顏色
df3 = pd.DataFrame(data = np.random.rand(4, 2),
index = list('ABCD'),
columns = ['One', 'Two'])
df3.plot.pie(subplots = True,figsize = (8, 8),
colors = np.random.random(size = (4, 3)))

6.4 散點圖
# 橫縱坐標,表示兩個屬性之間的關系
df4 = pd.DataFrame(np.random.randint(0, 50, size = (50, 4)), columns = list('ABCD'))
display(df4.plot.scatter(x = 'A', y = 'B')) # A和B關系繪制
df4['F'] = df4['C'].map(lambda x : x + np.random.randint(-5, 5, size = 1)[0])
display(df4.plot.scatter(x = 'C', y = 'F'))

6.5 面積圖
df5 = pd.DataFrame(data = np.random.rand(10, 4),
columns = list('ABCD'))
display(df5.plot.area(stacked = True)) # stacked 堆疊
display(df5.plot.area(stacked = False)) # stacked 不堆疊

同樣,我們可以調節它的顏色:
df5 = pd.DataFrame(data = np.random.rand(10, 4),
columns = list('ABCD'))
display(df5.plot.area(stacked = True,
color = np.random.rand(4, 3)))
# 解釋一下 random.rand(4, 3)
# 3就代表三個顏色:紅綠藍(三基色)
# 4就代表 ABCD

7.訓練場
首先我們需要下載一個 Excel 檔案:
鏈接:https://pan.baidu.com/s/1gkEEH1yVA1RdaXTrFbw3ww?pwd=rm9t
提取碼:rm9t
下載完成之后,把該檔案和我們的代碼放到同一個檔案夾下,這一操作我們在之前的博客中已經反復說到,這里就不再進行演示
7.1 找到一班(名字后面跟的數字表示班級),獲取班級將其男生1000米跑,成績繪制線形圖
import numpy as np
import pandas as pd
# 獲取1班資料
df = pd.read_excel('./分數匯總.xlsx', sheet_name = 0)
# 獲取1班的名字
cnt = df['姓名'].str[3:].astype(np.int16) == 1
df2 = df[cnt]
s = df2['男1000米跑分數']
# 把 Series 資料轉為 DataFrame
# 重置行索引,0、1、2、3......
score = s.reset_index()[['男1000米跑分數']]
# 繪圖
score.plot()

繪圖雖然繪制出來了,但是報錯一大堆,這是因為有中文的原因,我們接著繼續處理:
接下來的處理方法涉及
m
a
t
p
l
o
t
l
i
b
matplotlib
matplotlib,屬于超綱內容,可以不進行模擬,安裝
m
a
t
p
l
o
t
l
i
b
matplotlib
matplotlib 見博文:matplotlib的安裝教程以及簡單呼叫
這是字體需要導包:import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 獲取1班資料
df = pd.read_excel('./分數匯總.xlsx', sheet_name = 0)
# 獲取1班的名字
cnt = df['姓名'].str[3:].astype(np.int16) == 1
df2 = df[cnt]
s = df2['男1000米跑分數']
# 把 Series 資料轉為 DataFrame
# 重置行索引,0、1、2、3......
score = s.reset_index()[['男1000米跑分數']]
# 把字體設定為楷體(你的電腦上需有這個字體才能進行設定)
plt.rcParams['font.family'] = 'STKaiti'
# 調整字體大小
plt.rcParams['font.size'] = 18
# 繪圖
score.plot()

7.2 對各項體側指標進行分箱操作:不及格(0~59)、及格(60~69)、中等(70~79)、良好(80~89)、優秀(90~100)
columns = df.columns
for col in columns:
if col.endswith('分數'):
df[col] = pd.cut(df[col], bins = [0, 60, 70, 80, 90, 101],
labels = ['不及格', '及格', '中等', '良好', '優秀'],
right = False)
df2 = pd.read_excel('./分數匯總.xlsx', sheet_name = 1)
columns = df2.columns
for col in columns:
if col.endswith('分數'):
df2[col] = pd.cut(df2[col], bins = [0, 60, 70, 80, 90, 101],
labels = ['不及格', '及格', '中等', '良好', '優秀'],
right = False)
7.3 繪制全校男生1000米跑和男跳遠的條形圖(分箱操作后統計各個成績水平數量)
# 獲取男1000米跑分數的資料
s1 = df['男1000米跑分數'].value_counts()
s1.sort_index()
# 獲取男跳遠分數的資料
s2 = df['男跳遠分數'].value_counts()
s2.sort_index()
# 合并成為一個新的 DataFrame
df3 = pd.DataFrame({'男1000米跑分數':s1, '男跳遠分數':s2})
# 繪圖
df3.plot.bar()

7.4 繪制全校女生50米跑和女仰臥的餅圖(分箱操作后統計各個成績水平的數量)
# 獲取女50米跑分數的資料
s3 = df2['女50米跑分數'].value_counts()
s3 = s3.sort_index()
# 獲取女仰臥分數的資料
s4 = df2['女仰臥分數'].value_counts()
s4 = s3.sort_index()
# 合并資料
df4 = pd.DataFrame({'女50米跑分數':s3, '女仰臥分數':s4})
df4.plot.pie(subplots = True)

更改一下我們的影像尺寸:
# 獲取女50米跑分數的資料
s3 = df2['女50米跑分數'].value_counts()
s3 = s3.sort_index()
# 獲取女仰臥分數的資料
s4 = df2['女仰臥分數'].value_counts()
s4 = s3.sort_index()
# 合并資料
df4 = pd.DataFrame({'女50米跑分數':s3, '女仰臥分數':s4})
df4.plot.pie(subplots = True, figsize = (16, 16))

顯示各部分的百分比:
# 獲取女50米跑分數的資料
s3 = df2['女50米跑分數'].value_counts()
s3 = s3.sort_index()
# 獲取女仰臥分數的資料
s4 = df2['女仰臥分數'].value_counts()
s4 = s3.sort_index()
# 合并資料
df4 = pd.DataFrame({'女50米跑分數':s3, '女仰臥分數':s4})
# 顯示百分比,百分比保留兩位小數
df4.plot.pie(subplots = True, figsize = (16, 16), autopct = '%0.2f%%')

7.5 繪制男跳遠、女跳遠的堆疊條形圖(分箱操作后統計各個成績水平的數量)
# 獲取男跳遠分數的資料
s5 = df['男跳遠分數'].value_counts()
s5 = s5.sort_index()
# 獲取女跳遠分數的資料
s6 = df2['女跳遠分數'].value_counts()
s6 = s6.sort_index()
# 資料合并
df5 = pd.DataFrame({'男跳遠分數':s5, '女跳遠分數':s6})
# 繪制堆疊條形圖
df5.plot.bar(stacked = True)

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/419101.html
標籤:AI
