Python強大的Pandas庫—資料藝術家

日期：2021/4/21

作者：就叫易易好了

pandas是Python中的一個庫，是一個強大的分析結構化資料集，

pandas中的常見的資料結構有兩種：

Series:類似于一維陣列的物件

DataFrame:類似多維陣列/表格陣列，每列資料可以是不同的型別資料

1、基本操作

建立一個串列

import pandas as pd
import numpy as np
s=pd.Seris([1,55,67,8,np.nan,22])
print(s)

運行結果為：

建立一個多維陣列DataFrame

df=pd.DataFrame(np.random.randn(6,4),
index=['1','2','3','4','5','6'],columns=['a','b','c','d'])
print(df)
#行的索引是index，列的索引是columns
用1,2,3,4,5,6定義行的索引，用字母a,b,c,d定義列的索引,生成亂數

運行結果為：

也可以不規定行和列的索引，用默認的索引

df1=pd.DataFrame(np.arange(12).reshape((3,4)))
print(df1)

運行結果為：

可以用字典的方式來建立二維表

df2=pd.DataFrame({
    'A':1.,
    'B':pd.Timestamp('20210421'),
    'C':pd.Series(1,index=list(range(4)),dtype='float32'),
    'D':np.array([3]*4,dtype='int32'),
    'E':pd.Categorical(["mm","gg","mm","gg"]),
    'F':'lala'
})
df2

運行結果為：

可以用dtypes來查看各個資料型別

可以用index來查看所有行的序號，columns查看所有列的序號

values可以列印每一行的資料

describe可以描述資料型別

可以看到，describe只能運算元值形式，不能運算非數值形式

count：數量統計，此列共有多少有效值
unipue：不同的值有多少個
std：標準差
min：最小值
25%：四分之一分位數
50%：二分之一分位數
75%：四分之三分位數
max：最大值
mean：均值

#排序

可以用sort_index進行排序，axis可以有兩種值，等于1的話就是對列進行操作，等于0的話就是對行進行操作，

ascending是升序的意思，ascending=False說明將列按照降序進行排列，

我們不僅可以用index進行排列，還可以根據實際資料進行排序，比如我要對E進行排序

2、選擇資料

現在建立一個二維表格

如果我現在要選擇A這一列的資料，可以這樣：

我們也可以用loc標簽來選擇資料：

如果我需要提取2020年4月20號的資料，可以

print(df.loc['20200420'])

也就是將年份為20210420這行資料列印出來，

iloc標簽：通過位置來選擇

如果我要列印第三行的資料：（索引的第3行，實際位置是第4行）

如果我要列印第三行，第一列的資料：

如果我要列印第三行到第五行，第1列到第3列的資料

如果我要列印第1,3,5行，第1到3列的資料

3、pandas設定值，修改值

還是這個資料集

dates=pd.date_range('20210420',periods=6)
df=pd.DataFrame(np.arange(24).reshape((6,4)),index=dates,columns=['A','B','C','D'])

現在我想把索引值的第2行第3列改成123

如下：

如果我要將橫向標簽為20210420的B欄改成111的話，可以這樣：

如果我要將A列所有大于4的行，全部置為0，可以用以下辦法：

如果我要插入兩列E，F，并將其值置為空：

4、處理丟失資料

現在假裝有丟失資料，我人為的將索引序列的第0行第1列，第1行第2列置為空，

我現在要處理這些不完整資料：

• 如果我要這個丟失資料所在的整個行資料丟掉

其中，axis=0代表行，axis=1代表列，

how=‘any’,意思是只要此行里面任意一個資料為空，就洗掉這個行，

how=‘all’，意思是需要此行資料里面所有的資料為空，才洗掉這個行，

如果我現在要填充這些空值：

如果我要檢查這個二維表格中是否有缺失值，哪些是缺失的

5、匯入匯出資料

假如有一個csv檔案名為"lover.csv",要將其匯入進pandas，只需要加上這樣的代碼：

import pandas as pd
pd=pd.read_csv('lover.csv')

6、合并多個DataFrame

#concat

先創建幾個DataFrame

import pandas as pd
import numpy as np
df1=pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2=pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'])
df3=pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d'])
print(df1)
print(df2)
print(df3)

運行結果為：

我們現在將其合并

res=pd.concat([df1,df2,df3],axis=0) #豎向合并

我們發現，最前面的索引是012-012-012，如果我要忽略這個索引，重新建立索引，可以用這個陳述句：

res=pd.concat([df1,df2,df3],axis=0,ignore_index=True)

#join,[‘inner’,‘outer’]

如果兩個DataFrame的橫向索引不一樣，如下圖所示：

如果直接用concat合并的話：

即沒有的資料會用NAN填充，這種連接方式就是join的outer連接，

而inner連接會將兩個DataFrame的相同索引連接起來，互相沒有的索引會將其裁減掉：

如果我要橫向合并，那當然是要把axis置為1，但是橫向的索引不一樣，所以此時我們可以讓其遵守其中某一個DataFrame的索引

如果沒有加入join_axes這串代碼，那合并后的橫向索引就是1 2 3 4

#merge

我現在創建兩個DataFrame:

如果我要將這兩個DataFrame用love這個列相連接，可以用merge

res=pd.merge(df1,df2,on='love')

merge連接默認的是inner

7、資料可視化

#Series

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
data=pd.Series(np.random.randn(1000),index=np.arange(1000)) #隨機生成1000個數
data=data.cumsum() #將這1000個資料進行累加
data.plot()
plt.show()

運行結果如下：

#DataFrame

data=pd.DataFrame(np.random.randn(1000,4),
                  index=np.arange(1000),
                   columns=list('ABCD'))
data=data.cumsum()
data.plot()

plot methods:

• bar
• hist
• box
• kde
• area
• scatter

比如scatter只能有兩條屬性，一個X一個Y

data=pd.DataFrame(np.random.randn(1000,4),
                  index=np.arange(1000),
                   columns=list('ABCD'))
data=data.cumsum()
ax=data.plot.scatter(x='A',y='B',color='SkyBlue',label='Class 1')
data.plot.scatter(x='A',y='C',color='Green',label='Class 2',ax=ax)
plt.show()

_{基礎先介紹到這里啦，對于資料可視化的部分，會專門寫一個博文，大家互相學習，一起加油}