---

一、pandas入門

• Python在資料處理和準備方面一直做得很好，但在資料分析和建模方面就差一些，pandas幫助填補了這一空白，使您能夠在Python中執行整個資料分析作業流程，而不必切換到更特定于領域的語言，如R，
• 與出色的 jupyter工具包和其他庫相結合，Python中用于進行資料分析的環境在性能、生產率和協作能力方面都是卓越的，
• pandas是 Python 的核心資料分析支持庫，提供了快速、靈活、明確的資料結構，旨在簡單、直觀地處理關系型、標記型資料，pandas是Python進行資料分析的必備高級工具，
• pandas的主要資料結構是 Series(一維資料)與 DataFrame(二維資料)，這兩種資料結構足以處理金融、統計、社會科學、工程等領域里的大多數案例
• 處理資料一般分為幾個階段：資料整理與清洗、資料分析與建模、資料可視化與制表，Pandas 是處理資料的理想工具，

🌟 學習本文之前，需要先自修：NumPy從入門到進階，本文中很多的操作在 NumPy從入門到進階 一文中有詳細的介紹，包含一些軟體以及擴展庫，圖片的安裝和下載流程，本文會直接進行使用，

1.pandas的安裝

🚩Windows + R，輸入 cmd，輸入 pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple 下載 pandas，如果你曾跟著NumPy從入門到進階進行學習，這一步可以省略【已經安裝好了 pandas】

安裝好后，進入 jupyter，運行如下代碼，沒有報錯證明安裝成功：

2.資料結構

2.1 一維結構（Series）

import pandas as pd

s = pd.Series(data = [9, 8, 7, 6], index = ['a', 'b', 'c', 'd'])

display(s)

可以看到，我們創建了索引（index）為 'a' 'b' 'c' 'd'，data 為9 8 7 6的一維結構，我們還可以不指定索引（index），那么就會默認為 0 1 2 ...

一維Series和之前NumPy有何不同呢？
區別在于索引，是一一對應的，即索引也可以擁有自己的“名字”，而NumPy則是：自然索引（0 ~ n）

2.2 二維結構（DataFrame）

import pandas as pd

import numpy as np

pd.DataFrame(data = np.random.randint(0, 150, size = (5, 3)))

默認的行索引和列索引也都是從0開始的，我們說過，pandas可以自己定義我們的索引：

import pandas as pd

import numpy as np

# columns 用來設定列索引，index 用來設定行索引
pd.DataFrame(data = np.random.randint(0, 150, size = (5, 3)),
            columns = ['Python', 'English', 'Math'], index = list('ABCDE'))

我們發現，表格中的數都是正數，我們可以用 dtype 屬性設定為小數或者其他：

import pandas as pd

import numpy as np

# dtype 用來設定數的型別
pd.DataFrame(data = np.random.randint(0, 150, size = (5, 3)),
            columns = ['Python', 'English', 'Math'], index = list('ABCDE'),
            dtype = np.float32)

下面介紹另一種創建的方法：我們學過 Python 后，你可能會發現，在 Python 中的字典這種資料型別好像和這個特別像，故我們可以使用字典去進行創建：

import pandas as pd

import numpy as np

pd.DataFrame(data = {'Python':np.random.randint(100, 150, size = 5),
            'English':np.random.randint(90, 130, size = 5),
            'Math':np.random.randint(100, 150, size = 5)})

我們設定了列索引，接下來我們來設定行索引：

import pandas as pd

import numpy as np

pd.DataFrame(data = {'Python':np.random.randint(100, 150, size = 5),
            'English':np.random.randint(90, 130, size = 5),
            'Math':np.random.randint(100, 150, size = 5)},
            index = list('ABCDE'))

我們當然可以對其進行排序，比如我們按照行索引的大小進行降序：

import pandas as pd

import numpy as np

df = pd.DataFrame(data = {'Python':np.random.randint(100, 150, size = 5),
            'English':np.random.randint(90, 130, size = 5),
            'Math':np.random.randint(100, 150, size = 5)},
            index = list('ABCDE'))

df.sort_index(ascending = False)

3.資料查看

🚩接下來來介紹一些查看資料的方法：

import numpy as np
import pandas as pd

# 創建 shape(150, 3)的二維標簽陣列結構DataFrame
df = pd.DataFrame(data = np.random.randint(0, 151, size = (150, 3)),
                 columns = ['Python', 'English', 'Math'])
# 查看其屬性、概覽和統計資訊
display(df.head(10))  # 顯示頭部10個,默認5個
display(df.tail(10))  # 查看末尾10個,默認5個
display(df.shape)     # 查看形狀,行數和列數
display(df.dtypes)    # 查看資料型別

# 改變資料型別：
# 把 'Python' 一列的資料型別由 int32 改為 int64
df['Python'] = df['Python'].astype(np.int64)
display(df.dtypes)    # 查看資料型別

display(df.index)     # 查看行索引
display(df.columns)   # 查看列索引

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 151, size = (150, 3)),
                 columns = ['Python', 'English', 'Math'])

display(df.values)    # 查看物件值(即這個二維ndarray陣列)

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 151, size = (150, 3)),
                 columns = ['Python', 'English', 'Math'])
# 查看數值型別列的匯總統計,計數、平均值、標準差、最小值、四分位數、最大值
display(df.describe()) 
# 查看列索引、資料型別、非空計數和記憶體資訊
display(df.info())

4.資料輸入和輸出

4.1 csv

🚩我們想要存盤資料，首先要創建資料：

import numpy as np
import pandas as pd

# 薪資情況：
df = pd.DataFrame(data = np.random.randint(0, 50, size = (50, 5)),
                  columns = ['IT', '化工', '生物', '教師', '士兵'])
display(df)

import numpy as np
import pandas as pd

# 薪資情況：
df = pd.DataFrame(data = np.random.randint(0, 50, size = (50, 5)),
                  columns = ['IT', '化工', '生物', '教師', '士兵'])
display(df)

# 保存到當前路徑下，檔案名是：salary.csv
df.to_csv('./salary.csv',
         sep = ';',        # 文本分隔符，默認是逗號
         header = True,    # 是否保存列索引
         index = True)     # 是否保存行索引
# 保存行索引，檔案被加載時，默認行索引會作為一列

點擊該檔案就可以查看保存的資料資訊：

能保存資料自然就有加載資料的操作：

pd.read_csv('./salary.csv',
           sep = ';',      # 默認是逗號
           header = [0],   # 指定列索引
           index_col = 0)  # 指定行索引

4.2 Excel

🚩如果要保存為 Excel 檔案，我們需要裝兩個庫：

pip install xlrd -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xlwt -i https://pypi.tuna.tsinghua.edu.cn/simple

按下 Windows + R，輸入 cmd，然后輸入上述兩行，如果你曾跟著NumPy從入門到進階進行學習，這一步可以省略

import numpy as np
import pandas as pd

df1 = pd.DataFrame(data = np.random.randint(0, 50, size = [50,5]), # 薪資情況
                   columns = ['IT', '化工', '生物', '教師', '士兵'])

# 保存到當前路徑下，檔案命名是：salary.xlsx
df1.to_excel('./salary.xlsx',
            sheet_name = 'salary',# Excel中作業表的名字
            header = True,        # 是否保存列索引
            index = False)        # 是否保存行索引

這樣我們就保存了 df1 的資料，并把檔案存到了當前目錄下：

注意這個檔案我們在 jupyter 上是無法打開的，但是我們可以在檔案管理中找到并打開：

接下來我們來讀取這個檔案：

pd.read_excel('./salary.xlsx',
              sheet_name = 0,   # 讀取哪一個Excel中作業表，默認第一個
              header = 0)       # 使用第一行資料作為列索引

我們還可以替換列索引，比如我們把列索引替換為 ABCDE

pd.read_excel('./salary.xlsx',
              sheet_name = 0,  # 讀取哪一個Excel中作業表，默認第一個
              header = 0,      # 使用第一行資料作為列索引
              names = list('ABCDE'))# 替換列索引

我們還可以指定行索引：

pd.read_excel('./salary.xlsx',
              sheet_name = 0,  # 讀取哪一個Excel中作業表，默認第一個
              header = 0,      # 使用第一行資料作為列索引
              names = list('ABCDE'),
              index_col = 1)   # 替換列索引,index_col = 1 代表B作為行索引
# 感興趣的讀者可以自己運行一下：0 和 3
# index_col = 0 代表A作為行索引
# index_col = 3 代表D作為行索引

我們打開我們的 Excel 表格：

可以看到只有一個作業表，我們如果現在想再創建一個作業表用來存盤其他資料，可以按下述操作：

# 創建一組新的資料：
# 計算機科目的考試成績
df2 = pd.DataFrame(data = np.random.randint(0, 50, size = [150, 3]),
                   columns=['Python', 'Tensorflow', 'Keras'])

df2.to_excel('./salary.xlsx',
            sheet_name = 'test',# Excel中作業表的名字
            header = True,# 是否保存列索引
            index = False) # 是否保存行索引，保存行索引

我們再來查看一下我們的檔案：

發現并沒有實作我們預期的結果，下面來正式介紹一下如何操作：

# 一個Excel檔案中保存多個作業表
with pd.ExcelWriter('./data.xlsx') as writer:
    df1.to_excel(writer,sheet_name = 'salary', index = False)
    df2.to_excel(writer,sheet_name = 'score', index = False)

這樣就實作了我們的存入操作，接下來還是讀取的操作：
讀取 salary：

pd.read_excel('./data.xlsx',
              sheet_name='salary') # 讀取Excel中指定名字的作業表 

讀取 score：

pd.read_excel('./data.xlsx',
              sheet_name='score') # 讀取Excel中指定名字的作業表 

5.資料選擇

5.1 欄位資料

5.1.1 列的獲取

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 150, size = (1000, 3)),
                 columns = ['Python', 'English', 'Math'])
display(df)

# 獲取 Python 一列的資料
# 方法一
display(df['Python'])
# 方法二
display(df.Python)

# 獲取兩列資料
display(df[['Python', 'Math']])

再來對比兩個寫法：同樣是獲得一列的資料，不同的寫法對應的運行表現不同：

display(df['Python'])
display(df[['Python']])

5.1.2 行的獲取

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 150, size = (5, 3)),
                  index = list('ABCDE'),
                  columns = ['Python', 'English', 'Math'])

# 獲取 Python 一行的資料
display(df.loc['A'])

# 獲取 兩行的資料
display(df.loc[['A', 'C']])

還有一種獲取方法：

display(df.iloc[0])  # 按數字去獲取,0就是對應'A'
display(df.iloc[[0, 2]])  # 獲取的是 'A' 和 'C' 

5.1.3 數值的獲取

我們介紹了獲取行和獲取列，現在我們來介紹獲取固定行固定列的元素：

# 獲取第 B 行，第 Math 列的值
# 方法一
display(df['Math']['B'])
# 方法二
display(df.loc['B']['Math'])
# 方法三
display(df.loc['B', 'Math'])
# 方法四
display(df.iloc[1, 2])

5.1.4 切片操作

切片的概念和表達都和 Python 的傳統切片無差別，和 NumPy 也特別相似：

display(df.loc['A':'C'])
display(df.loc['A':'C', 'English':])
display(df.iloc[1:2, 0:-1])

5.2 boolean索引

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 151, size = (1000, 3)),
                       columns = ['Python', 'English', 'Math'])

cnt = df['Python'] == 150

df[cnt]

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 151, size = (1000, 3)),
                       columns = ['Python', 'English', 'Math'])

cnt1 = df['Python'] > 140
cnt2 = df['Math'] > 140

cnt = cnt1 & cnt2

df[cnt]

5.3 賦值操作

5.3.1 新增一列

🚩我們在原有的三學科基礎上增加一門 C++ 的成績

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(60, 101, size = (5, 3)),
                       columns = ['Python', 'English', 'Math'])
display(df)

# 添加一個新學科：C++【增加一列】
df['C++'] = np.random.randint(60, 101, size = 5)
display(df)

5.3.2 整列的變化

🚩我們讓 Python 這門課的所有學生的分數都增加 10 分，再將 Math,C++的分數都增加10分

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(60, 101, size = (5, 3)),
                       columns = ['Python', 'English', 'Math'])
df['C++'] = np.random.randint(60, 101, size = 5)
display(df)

# 將 Python 這列的分數都增加 10 分
df['Python'] += 10
display(df)

# 將 Math,C++的分數都增加10分
df[['Math', 'C++']] += 10
display(df)

5.3.3 列上元素的變化

🚩我們將 Math 中索引是 2 的人的分數改為 100，再將 Math 中索引是 2,3 的人的分數改為 99

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(60, 101, size = (5, 3)),
                       columns = ['Python', 'English', 'Math'])
df['C++'] = np.random.randint(60, 101, size = 5)
display(df)

# 將 Math 中索引是 2 的人的分數改為 100
df['Math'][2] = 100
display(df)

# 將 Math 中索引是 2,3 的人的分數改為 99
df['Math'][[2, 3]] = 99
display(df)

5.3.4 批量操作多個資料

🚩將 Math,C++ 中索引是 2,3 的人的分數改為 80

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(60, 101, size = (5, 3)),
                       columns = ['Python', 'English', 'Math'])
df['C++'] = np.random.randint(60, 101, size = 5)
display(df)

# 將 Math,C++ 中索引是 2,3 的人的分數改為 80
# df[['Math', 'C++']][[2, 3]] = 80  這種操作是錯誤的
df.loc[[2, 3], ['Math', 'C++']] = 80
display(df)

在條件的情況下修改多個值，必須使用 loc：

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(60, 101, size = (5, 3)),
                       columns = ['Python', 'English', 'Math'])
df['C++'] = np.random.randint(60, 101, size = 5)
display(df)

# 將 C++的分數大于 80 的人的分數統一減去 20分
cnt = df['C++'] > 80
# 使用 loc 修改資料
df.loc[cnt] -= 20
display(df)

6.訓練場

6.1 創建1000條語、數、外、Python的考試成績DataFrame，范圍是0~150包含150，分別將資料保存到csv檔案以及Excel檔案，保存時不保存行索引，

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 151, size = (1000, 4)),
                  columns = ['語', '數', '英', 'Python'])

df.to_csv('./score.csv', index = False)
df.to_excel('./score.xlsx', index = False)

6.2 創建使用字典創建DataFrame，行索引是a~z，列索引是：身高（160-185）、體重（50-90）、學歷（無、本科、碩士、博士），身高、體重資料使用NumPy亂數生成，學歷資料先創建陣列 edu =np.array([‘無’,‘本科’,‘碩士’,‘博士’])，然后使用花式索引從四個資料中選擇26個資料，

import numpy as np
import pandas as pd

edu = np.array(['無', '本科', '碩士', '博士'])
# 花式索引取資料
index = np.random.randint(0, 4, size = 26)
edu = edu[index]

data = pd.DataFrame({'身高':np.random.randint(160, 186, size = 26),
                     '體重':np.random.randint(50, 91, size = 26),
                     '學歷':edu},
                     index = list('qwertyuiopasdfghjklzxcvbnm'))  
                     # 這個單純是為了圖省事兒,手指按住鍵盤滑動產生
# 我們要求行索引是 a~ z，故我們來排個序
data = data.sort_index(ascending = True)

'''
或者要生成 a ~ z 也可以采取：
index = np.arange(97, 123)
index = [chr(i) for i in index]
'''
display(data)

6.3 使用題目二中的資料，進行資料篩選，

6.3.1 篩選索引大于 ‘t’ 的所有資料

# 獲取索引，進行邏輯運算
# data.index 可以獲取 data 的行索引
cnt = data.index > 't'
data[cnt]

6.3.2 篩選學歷是博士，身高大于170或者體重小于80的學生

cnt1 = data['學歷'] == '博士'
cnt2 = data['身高'] > 170
cnt3 = data['體重'] < 80

cnt = cnt1 & (cnt2 | cnt3)

data[cnt]

6.4 使用題目二中資料，開始學生們開始減肥

6.4.1 本科生減肥，減掉的體重統一是10

cnt = data['學歷'] == '本科'
display(data[cnt])

data.loc[cnt,'體重'] -= 10
display(data[cnt])

6.4.2 博士生減肥，減掉體重范圍是5~10

cnt = data['學歷'] == '博士'
display(data[cnt])

'''
data[cnt].shape  運行結果為(8, 3)
data[cnt].shape[0]  運行結果為 8 
'''

data.loc[cnt, '體重'] -= np.random.randint(5, 11, 
                        size = data[cnt].shape[0])
                        # 相當于 size = 8
display(data[cnt])

二、pandas高級

1.資料集成

🚩pandas 提供了多種將 Series、DataFrame 物件組合在一起的功能

1.1 concat資料串聯

🚩使用 concat 可以把資料進行合并，分別用 axis = 0 代表行合并，axis = 1 代表列合并

import pandas as pd
import numpy as np

# df1 看做是一班的考試成績
df1 = pd.DataFrame(data = np.random.randint(0, 150, size = (10, 3)),# 計算機科目的考試成績
                  index = list('ABCDEFGHIJ'),  # 行標簽，用戶
                  columns = ['Python', 'Tensorflow', 'Keras']) # 考試科目

# df2 看做是二班的考試成績
df2 = pd.DataFrame(data = np.random.randint(0, 150, size = (10,3)),# 計算機科目的考試成績
                  index = list('KLMNOPQRST'),# 行標簽，用戶
                  columns = ['Python', 'Tensorflow', 'Keras']) # 考試科目

# df3 新增兩門考試科目（一班）
df3 = pd.DataFrame(data = np.random.randint(0, 150, size = (10,2)),
                  index = list('ABCDEFGHIJ'),
                  columns = ['PyTorch', 'Paddle'])

display(df1, df2, df3)

# 一班二班考試成績合并
# axis = 0 表示進行(xing)行(hang)合并, 即行增加
display(pd.concat([df1, df2], axis = 0))

# 一班科目增加，合并科目
# axis = 1 表示進行列合并，即列增加
display(pd.concat([df1, df3], axis = 1))

1.2 插入

🚩使用 insert 可以在任意位置進行插入

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 151, size = (10, 3)),
                  index = list('ABCDEFGHIJ'),
                  columns = ['Python', 'Keras', 'Tensorflow'])
display(df) 

# 我們在 Keras 和 TensorFlow 中間插入一行 Math,分數均為150
df.insert(loc = 2, column = 'Math', value = 150)
# loc = 0 代表 Python, loc = 1 代表 Pytorch,以此類推

# 在 Python 后面插入一列 English
'''
獲取列索引
df.columns 運行結果:Index(['Python', 'Pytorch', 'Math', 'Keras', 'Tensorflow'], 
					dtype='object')

把列索引轉換為串列
list(df.columns) 運行結果:['Python', 'Pytorch', 'Math', 'Keras', 'Tensorflow']

呼叫index函式,獲取串列中特定欄位的位置
list(df.columns).index('Python') 運行結果:0
'''
# +1 表示在該位置后
index = list(df.columns).index('Python') + 1
df.insert(loc = index, column = 'English', value = np.random.randint(0, 151, size = 10))

display(df)

1.3 Join SQL風格合并

🚩資料集的合并（merge）或連接（join）運算是通過一個或者多個鍵將資料鏈接起來的，這些運算是關系型資料庫的核心操作，pandas的merge函式是資料集進行join運算的主要切入點，

先來創建資料：

import pandas as pd
import numpy as np

# 記錄的是name和weight
df1 = pd.DataFrame(data = {'name':['辰chen', '嬌妹兒', '梟哥', '晶姐'],
                           'weight':[65, 60, 70, 50]})
# 記錄的是name和height
df2 = pd.DataFrame(data = {'name':['辰chen', '嬌妹兒', '梟哥', '黑貓警長'],
                           'height':[176, 184, 178, 166]})
# 記錄的是名字和height
df3 = pd.DataFrame(data = {'名字':['辰chen', '嬌妹兒', '梟哥', '黑貓警長'],
                           'height':[176, 184, 178, 166]})

display(df1, df2, df3)

利用 merge 對資料進行合并：

# df1, df2 進行合并
display(pd.merge(df1, df2)) # merge:根據共同的屬性進行合并
# 共同的屬性是name,共同擁有的是:辰chen, 嬌妹兒, 梟哥

df1 和 df3 是不能直接進行合并的：

# df1, df3 進行合并
display(pd.merge(df1, df3))

當然啦，我們 pandas 是十分強大滴，按照如下代碼可以進行合并：

# df1, df3 進行合并
# 指定了合并時, 根據哪一列進行合并
display(pd.merge(df1, df3, left_on = 'name', right_on = '名字'))

創建 10 名同學，計算每個人的平均分，并合并：

創建資料：

df4 = pd.DataFrame(data = np.random.randint(0, 151, size = (10, 3)),
                   index = list('ABCDEFHIJK'),
                   columns = ['Python', 'Keras', 'Tensorflow'])

display(df4)

計算平均分：

df4.mean()

我們要計算的不是列的平均分，而是每位同學的平均分：axis = 1：

# 每個人的各科平均分, Series
df4.mean(axis = 1)

資料看起來不舒服，我們可以使用之前講過的 round(1) 去保留一位小數：

# 每個人的各科平均分, Series
df4.mean(axis = 1).round(1)

看著是不是不是很舒服？我們可以把它變成 DataFrame

# 每個人的各科平均分, Series
t = df4.mean(axis = 1).round(1)

# 轉為 DataFrame
df5 = pd.DataFrame(t, columns = ['平均分'])
df5

將 df4 和 df5 使用 merge 進行合并

# 將 df4 和 df5 使用 merge 進行合并
# df4 和 df5 沒有共同的一列屬性值相同,擔有相同的行索引
pd.merge(df4, df5, left_index = True,   # 左邊使用行索引
                   right_index = True)  # 右邊使用行索引

上述代碼同樣可以用 concat 和 insert 實作：

pd.concat([df4, df5], axis = 1)

df4.insert(loc = 3, column = '平均分', value = df5)
df4

2.資料清洗

🚩所謂資料清洗，其實就是把重復的資料，或者是空資料，例外資料進行一些操作，比如替換，填充，洗掉等操作，關于例外值的定義需要根據實際情況去自行規定，

2.1 重復資料過濾

import numpy as np
import pandas as pd

df = pd.DataFrame(data = {'color':['red', 'blue', 'red', 'green', 'blue', None, 'red'],
                          'price':[10, 20, 10, 15, 20, 0, np.NaN]})
display(df)

# 重復資料過濾
df.duplicated()        # 判斷是否存在重復資料
df.drop_duplicates()   # 洗掉重復資料

2.2 空資料過濾

None 和 NaN 都表示空資料,計算時沒有區別
None 是 Python 的資料型別
NaN 是 Numpy 的資料型別

import numpy as np
import pandas as pd

df = pd.DataFrame(data = {'color':['red', 'blue', 'red', 'green', 'blue', None, 'red'],
                          'price':[10, 20, 10, 15, 20, 0, np.NaN]})
display(df)

# 空資料處理
# 比如 df 中的 color:None,price:NaN 就是空資料
display(df.isnull()) # 判斷是否存在空資料，存在回傳True，否則回傳False
display(df.dropna())   # 洗掉空資料
df.fillna(1024)  # 填充空資料:空資料全變為1024

2.3 指定行或者列進行洗掉

del df['color'] # 直接洗掉某列
df

# drop 洗掉,原資料無變化
# 洗掉指定列
display(df.drop(labels = ['price'], axis = 1))
display(df)

# 洗掉指定行
display(df.drop(labels = [0, 1, 3], axis = 0))
display(df)

當然，我們也可以設定使得在原資料上直接進行修改：

# inplace 替換:洗掉原來資料并替換給原資料
# 說白了就是洗掉資料的意思
df.drop(labels = [0, 1, 3], axis = 0, inplace = True)
df

2.4 例外值

🚩對于一個正態分布的資料，我們認定 > 3 σ >3\sigma >3σ 就是例外值， σ \sigma σ表示標準差

# 正態分布資料
df = pd.DataFrame(data = np.random.randn(10000, 3))
cnt = df.abs() > 3 * df.std()   # df.std() 就是標準差

# 取出第一列是例外的資料
cnt_0 = cnt[0]
display(df[cnt_0])

# 獲取每一列是例外的資料
cnt_1 = cnt[1]
cnt_2 = cnt[2]

cnt = cnt_0 | cnt_1 | cnt_2

df[cnt]

還有一種比較簡單的方式取出例外值：

cnt = df.abs() > 3 * df.std()
# axis = 1 計算每一行,只要一行中有一個 True,回傳 True
# True 就表示的是例外值
cnt_ = cnt.any(axis = 1)

df[cnt_]

3.資料轉換

3.1 軸和元素替換

3.1.1 軸的替換

🚩替換軸使用的是函式 rename()：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
display(df)

# 重命名軸索引
df.rename(index = {'A':'AA', 'B':'BB'}, columns = {'Python':'AI'})
display(df)

3.1.2 元素的替換

🚩元素的替換使用 replace() 函式：

# 將5替換為1024
display(df.replace(5, 1024)) 

# 把0,7替換為2048
display(df.replace([0, 7], 2048))

# 把0替換為519,6替換為666
display(df.replace({0:519, 6:666}))

# 把 Python 這一列值為2的,替換為 -1024
display(df.replace({'Python':2}, -1024))

3.2 map Series元素改變

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
display(df)

# map 用來批量的修改元素
display(df['Keras'].map({6:'辰chen', 9:'AIoT'}))

從運行結果我們可以看出，使用 map 對資料進行替換后，未規定替換的資料會變成空資料，
如果我們想要保留原資料，可以寫自定義函式：

def convert(x):
    if x == 6:
        return '辰chen'
    elif x == 9:
        return 'AIoT'
    else:
        return x
    
df['Keras'].map(convert)

當然，我們在 Python 中還學習過 lambda 運算式，在這里同樣可以使用：

# 把 Python 這一列大于等于15的值變成True,否則變成False
df['Python'].map(lambda x : True if x >= 5 else False)

3.3 apply元素改變,既支持 Series也支持 DataFrame

3.3.1 apply簡單介紹

創造資料：

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0, 101, size = (30, 3)),
                  columns = ['Python', 'Math', 'English'])
display(df)

apply 對資料進行修改：

def convert(x):
    if x < 60:
        return '不及格'
    elif x < 80:
        return '中等'
    else:
        return '優秀'
df['Python'].apply(convert)

我們現在來把這兩個表格進行合并：

res = df['Python'].apply(convert)
index = list(df.columns).index('Python') + 1
df.insert(loc = index, column = 'Python' + '等級', value = res)
df

如果我們要生成所有學科的等級，我們可以利用 for 回圈：

def convert(x):
    if x < 60:
        return '不及格'
    elif x < 80:
        return '中等'
    else:
        return '優秀'
    
for col in list(df.columns):
    res = df[col].apply(convert)
    index = list(df.columns).index(col) + 1
    df.insert(loc = index, column = col + '等級', value = res)

df

3.3.2 apply應用

apply 可以對一列資料進行修改：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
display(df)

# apply 應用，方法：自定義、簡單隱式函式(lambda)
df['Python'] = df['Python'].apply(lambda x : x + 100)
display(df)

map 可以對一列資料進行修改：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
display(df)

df['Python'] = df['Python'].map(lambda x : x - 100)
display(df)

3.3.3 applymap應用

applymap 可以對整個 DataFrame 進行全部的處理

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
display(df)

def convert(x):
    if x < 5:
        return 100
    else:
        return -100
df.applymap(convert)

3.4 transform變形金剛

創建資料：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns=['Python', 'Tensorflow', 'Keras'])
df.iloc[4,2] = None # 空資料

display(df)

transform 一樣是支持 lambda 和自定義函式的：

df['Python'].transform(lambda x : x + 10)

def convert(x):
    if x < 5:
        return 100
    else:
        return -100
    
df['Python'].transform(convert)

對一列進行不同的操作：

# 分別對 Python 這一列執行開平方和冪運算
df['Python'].transform([np.sqrt, np.exp])

對多列進行不同的操作：

df.transform({'Python':np.exp, 'Tensorflow':lambda x:x + 10, 'Keras':np.sqrt})

3.5 重排隨機抽樣啞變數

創建資料：

import numpy as np
import pandas as pd
df = pd.DataFrame(data = np.random.randint(0, 10, size = (10, 3)),
                  index = list('ABCDEFHIJK'),
                  columns=['Python', 'Tensorflow', 'Keras'])
display(df)

3.5.1 重拍資料

index = np.random.permutation(10)
# 重排資料：
df.take(index)

3.5.2 隨機抽樣

注：隨機抽樣是允許重復的

# 隨機抽樣
index = np.random.randint(0, 10, size = 5)
df.take(index)

3.5.3 啞變數

# 啞變數，獨熱編碼，1表示有，0表示沒有
df = pd.DataFrame({'key':['b','b','a','c','a','b']})
display(df)
display(pd.get_dummies(df,prefix='',prefix_sep=''))
# 可以理解成把字串變成了數字

4.訓練場

4.1 知識點概述

4.1.1 字串替換

將字串：“我在大學的體能極限是1000米3分34秒！” 中的“我”替換為“辰chen”，再將成績轉換為純數字：

import numpy as np
import pandas as pd

s1 = '我在大學的體能極限是1000米3分34秒！'
# 把 '我' 替換為 '辰chen'
s1 = s1.replace('我', '辰chen')
display(s1)

# 將成績轉換為純英文的
s2 = "3'34"
s2 = s2.replace('\'', '.')# \ 表示轉義字符
s2 = float(s2)
display(s2)

4.1.2 報錯演示

score = ["4'03", "4'34", "4'29", "3'48", "3'58", 4]

# for回圈批量替換
for s in score:
    s = s.replace('\'', '.')
    print(s)

可以看出前幾個資料都進行了正確的替換，只有最后一個資料因無法替換而報錯，報錯的原因在于最后一個資料是 int 型別的資料，是不能呼叫 replace 方法的，replace 只作用于字串

所以我們在替換的程序中可以進行特判：

4.1.3 報錯修復

使用 isinstance() 方法判斷是否是字串型別

score = ["4'03", "4'34", "4'29", "3'48", "3'58", 4]

# for回圈批量替換
for s in score:
    # 判斷s是不是字串型別資料，這是一個新知識點
    if isinstance(s, str):
        s = s.replace('\'', '.')
    s = float(s)
    print(s, type(s))

4.2 體測成績的部分轉換

4.2.1 男生1000米跑成績轉換

首先我們需要下載一個 Excel 檔案：

鏈接: https://pan.baidu.com/s/1msM5CSZxyJ3TZ5e3TG4XiQ?pwd=w3ut
提取碼: w3ut
復制這段內容后打開百度網盤手機App，操作更方便哦

下載完成之后，把該檔案和我們的代碼放到同一個檔案夾下，這一操作我們在之前的博客中已經反復說到，這里就不再進行演示

我們點開我們下載好的檔案：

表格有男生表，也有女生表，在男生表中通過觀察可以看出，只有 男1000米跑這一列資料是 xx'xx 的形式，我們要把它轉為和 男50米跑，男跳遠這樣的資料形式，并且需要注意到，可能有些同學沒有參加 1000米跑的測驗，我們需要把這些空資料統一賦值為0

import pandas as pd

# 加載男生的體測成績
# 方法一：
df_boy = pd.read_excel('./體測成績.xlsx', sheet_name = 0)
# 方法二：
df_boy = pd.read_excel('./體測成績.xlsx', sheet_name = '男生')

# 空資料處理：沒有參加體能測驗，成績為0
df_boy = df_boy.fillna(0)

def convert(s):
    if isinstance(s, str):
        s = float(s.replace('\'', '.'))
    return s

df_boy['男1000米跑'].map(convert)

4.2.2 男生1000米跑成績轉換并賦值

import pandas as pd

# 加載男生的體測成績
df_boy = pd.read_excel('./體測成績.xlsx', sheet_name = 0)

# 空資料處理：沒有參加體能測驗，成績為0
df_boy = df_boy.fillna(0)

def convert(s):
    if isinstance(s, str):
        s = float(s.replace('\'', '.'))
    return s

df_boy['男1000米跑'] = df_boy['男1000米跑'].map(convert)

# 保存資料，index = False表示不存盤行索引
df_boy.to_excel('./男生體測成績.xlsx', index = False)

# 查看前10個資料
df_boy.head(10)

對于女生資料，我們可以做同樣的處理

import pandas as pd

# 加載女生的體測成績
df_girl = pd.read_excel('./體測成績.xlsx',sheet_name = 1)

# 空資料處理：沒有參加體能測驗，成績為0
df_girl = df_girl.fillna(0)

def convert(s):
    if isinstance(s, str):
        s = float(s.replace('\'', '.'))
    return s

df_girl['女800米跑'] = df_girl['女800米跑'].apply(convert)

# 保存資料，index = False表示不存盤行索引
df_girl.to_excel('./女生體測成績.xlsx', index = False)

# 查看后10個資料
df_girl.tail(10)

4.3 體測成績評分表資料轉換

首先我們下載一個 Exel 檔案：

鏈接: https://pan.baidu.com/s/1wxeENf0tjx5bWxTGxkZGeg?pwd=szmk
提取碼: szmk
復制這段內容后打開百度網盤手機App，操作更方便哦

下載完成之后，把該檔案和我們的代碼放到同一個檔案夾下，這一操作我們在之前的博客中已經反復說到，這里就不再進行演示

我們先按照傳統的方法把資料進行加載查看

import numpy as np
import pandas as pd

score = pd.read_excel('./體側成績評分表.xls')
score

是不是感覺看起來特別的別扭？這是因為我們在我們的 Excel 檔案中，我們最上方一行每個都占了兩列的原因，所以代碼運行中的 Unnamed1，Unnamed3 其實就是填充，

針對上述現象，我們可以按如下方法執行：

import numpy as np
import pandas as pd

# header:告訴 pandas 第一行和第二行作為列索引
score = pd.read_excel('./體側成績評分表.xls',header = [0, 1])
score

我們來觀察資料：

發現成績的形式都是：xx'xx" 的形式，現在我們想把它轉為數字的形式：

def convert(x):
    if isinstance(x, str):
        s = float(x.replace('\"', '').replace('\'', '.'))
                  # 洗掉 "                     替換 ' 為 .
    return s

x = '''3'30"'''
convert(x)

我們用上述方法對男生考核標準進行轉換：

def convert(x):
    if isinstance(x, str):
        s = float(x.replace('\"', '').replace('\'', '.'))
    return s

# 男生考核標準轉換
score.iloc[:, -4] = score.iloc[:, -4].apply(convert)
score

同樣的方法，對女生資訊進行轉換：

score = pd.read_excel('./體側成績評分表.xls',header=[0, 1])

def convert(x):
    if isinstance(x, str):
        s = float(x.replace('\"', '').replace('\'', '.'))
    return s

# 男生考核標準轉換
score.iloc[:, -4] = score.iloc[:, -4].apply(convert)

# 女生考核標準轉換
score.iloc[:, -2] = score.iloc[: , -2].apply(convert)
score

最后保存我們的檔案：

score = pd.read_excel('./體側成績評分表.xls',header=[0, 1])

def convert(x):
    if isinstance(x, str):
        s = float(x.replace('\"', '').replace('\'', '.'))
    return s

# 男生考核標準轉換
score.iloc[:, -4] = score.iloc[:, -4].apply(convert)

# 女生考核標準轉換
score.iloc[:, -2] = score.iloc[: , -2].apply(convert)

score.to_excel('./體側成績評分表_處理.xlsx', header=[0, 1])

再來查看以下我們的資料：

pd.read_excel('./體側成績評分表_處理.xlsx', header = [0, 1])

可以看到第一列多了一些奇奇怪怪的東西，我們用 index_col = 0 洗掉：

# index_col = 0   使用第一列作為行索引
pd.read_excel('./體側成績評分表_處理.xlsx', header = [0, 1], index_col = 0)

4.4 男生體測分數成績轉換

4.4.1 男生1000米跑成績分數轉換

注：代碼處于運行中將顯示：

下列代碼運行十幾秒，幾十秒甚至幾分鐘都是正常的，耐心等待運行結果即可，

%%time
import pandas as pd

# 加載處理之后的男生體測成績
df_boy = pd.read_excel('./男生體測成績.xlsx')

# 加載成績評分表
score = pd.read_excel('./體側成績評分表_處理.xlsx', header = [0,1],index_col = 0)

# 定義轉換方法
def convert(x):
    if x == 0: # 說明沒有參加體能測驗，分數為0分
        return 0
    for i in range(20): # 成績劃分20等級
        if x <= score['男1000米跑']['成績'][i]:
            return score['男1000米跑']['分數'][i]
    return 0 # 說明跑的太慢了，分數為0分

df_boy['男1000米跑'].apply(convert)

4.4.2 男生1000米跑成績分數轉換并賦值

%%time
import pandas as pd

# 加載處理之后的男生體測成績
df_boy = pd.read_excel('./男生體測成績.xlsx')
# 加載成績評分表
score = pd.read_excel('./體側成績評分表_處理.xlsx', header = [0, 1])

# 定義轉換方法
def convert(x):
    if x == 0: # 說明沒有參加體能測驗，分數為0分
        return 0
    for i in range(20): # 成績劃分20等級
        if x <= score['男1000米跑']['成績'][i]:
            return score['男1000米跑']['分數'][i]
    return 0 # 說明跑的太慢了，分數為0分

df_boy['男1000米跑' + '分數'] = df_boy['男1000米跑'].apply(convert)
df_boy.head(10)

4.4.3 批量轉換男生速度類成績分數

%%time
import numpy as np
import pandas as pd

df_boy = pd.read_excel('./男生體測成績.xlsx')
score = pd.read_excel('./體側成績評分表_處理.xlsx', header = [0,1], index_col = 0)

cols = ['男1000米跑', '男50米跑']

def convert(x, col):
    if x == 0: # 說明沒有參加體能測驗，分數為0分
        return 0
    for i in range(20): # 成績劃分20等級
        if x <= score[col]['成績'][i]:
            return score[col]['分數'][i]
    return 0 # 說明跑的太慢了，分數為0分


for col in cols:
    # args 傳入的引數 (col,)元組
    s = df_boy[col].apply(convert, args = (col,))
    
    columns = df_boy.columns.to_list()
    
    index = columns.index(col) + 1 # 這一列后面
    
    # 向這一列后面添加一列：分數
    df_boy.insert(loc = index, column = col + '分數', value = s)
    
df_boy.head()

4.4.4 批量轉換男生力量型成績分數并保存

%%time
# convert自定義，名字任意
def convert(x, col):
    for i in range(20): # 成績劃分20等級
        if x >= score[col]['成績'][i]:
            return score[col]['分數'][i]
    return 0 # 說明跳遠不達標，分數為0分

cols = ['男跳遠', '男體前屈', '男引體', '男肺活量']

for col in cols:
    # apply ,args = (col,)代表某一列，成績分數轉換
    s = df_boy[col].apply(convert, args = (col,))
    
    columns = df_boy.columns.to_list()
    
    # 后面插入一列
    index = columns.index(col) + 1
    df_boy.insert(loc = index, column = col + '分數', value = s)
    
display(df_boy.head())

df_boy.to_excel('./男生體測成績-分數.xlsx', index = False)

4.5 女生體測成績分數轉換

%%time
import numpy as np
import pandas as pd

df_girl = pd.read_excel('./女生體測成績.xlsx')
score = pd.read_excel('./體側成績評分表_處理.xlsx', header = [0,1],index_col = 0)

# 速度型別成績分數批量轉換
cols = ['女800米跑', '女50米跑']
def convert(x, col):
    if x == 0: # 說明沒有參加體能測驗，分數為0分
        return 0
    for i in range(20): # 成績劃分20等級
        if x <= score[col]['成績'][i]:
            return score[col]['分數'][i]
    return 0 # 說明跑的太慢了，分數為0分
for col in cols:
    s = df_girl[col].apply(convert, args = (col,))
    columns = df_girl.columns.to_list()
    index = columns.index(col) + 1
    df_girl.insert(loc = index, column = col + '分數', value = s)

# 力量型成績分數批量轉換
cols = ['女跳遠', '女體前屈', '女仰臥', '女肺活量']
def convert(x, col):
    for i in range(20): # 成績劃分20等級
        if x >= score[col]['成績'][i]:
            return score[col]['分數'][i]
    return 0 # 說明跳遠不達標，分數為0分

for col in cols:
    s = df_girl[col].apply(convert, args = (col,))
    columns = df_girl.columns.to_list()
    index = columns.index(col) + 1
    df_girl.insert(loc = index, column = col + '分數', value = s)
df_girl.to_excel('./女生體測成績-分數.xlsx', index = False)

df_girl.head(10)

4.6 保存成績

最后我們把男女生成績整合到一個檔案當中：

with pd.ExcelWriter('./分數匯總.xlsx') as writer:
    df_boy.to_excel(writer, sheet_name = '男生', index = False)
    df_girl.to_excel(writer, sheet_name = '女生', index = False)

三、pandas進階

1.資料重塑

🚩資料重塑其實就是行變列，列變行

1.1 一般資料

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 100, size = (10, 3)),
                     index = list('ABCDEFHIJK'),
                     columns = ['Python', 'Tensorflow', 'Keras'])
display(df)

# 轉置
df.T

1.2 多層索引

df2 = pd.DataFrame(data = np.random.randint(0, 100, size = (20, 3)),
                   index = pd.MultiIndex.from_product([list('ABCDEFHIJK'), 
                                                       ['期中', '期末']]),#多層索引
                   columns = ['Python', 'Tensorflow', 'Keras'])
df2

我們來解釋一下這個復雜的代碼：ndex = pd.MultiIndex.from_product([list('ABCDEFHIJK'), ['期中', '期末']])，我們的第一個引數：ABCDEFHIJK，共是 10 10 10 個字母，第二個引數是兩個字串，所以我們一共會有 20 20 20 行的資料，這正好對應了前面的代碼size = (20, 3)，讀者自行理解下面這個代碼：

df3 = pd.DataFrame(data = np.random.randint(0, 100, size = (10, 6)),
                   index = list('ABCDEFHIJK'),
                   columns = pd.MultiIndex.from_product([['Python', 'Math', 'English'],
                                                         ['期中', '期末']]))
df3

我們用 unstack() 完成多層索引行變列的資料重塑：

# 行索引變列索引,結構改變
# 默認情況下,最里層調整
df2.unstack()

可以看出來，只是把行索引最里層的期中期末 移到了列索引的位置，我們也可以把行索引外層的 ABCDEFHIJK 移動至列索引的位置：

df2.unstack(level = 0)

我們用 stack() 完成多層索引列變行的資料重塑：

# 列索引變行索引,結構改變
# 默認情況下,最里層調整
df3.stack()

同樣，我們通過調整引數可以實作使得列索引的最外層變成行索引：

df3.stack(level = 0)

1.3 多層索引的運算

sum() 求和運算：

df2.sum()

當然，這樣的資料一般是沒有意義的，我們一般想要求出每一位同學的總分，而不是每門科目的總分：

df2.sum(axis = 1)

# 期中，期末消失
# 計算的是每個人，期中期末的總分數
df2.sum(level = 0)

mean() 用來計算平均分：

# 同學消失
# 計算的是所有同學期中期末平均分
df2.mean(level = 1)

接下來簡單介紹一下如何取資料：

# df3是多層列索引,可以直接使用[],根據層級關系取資料
# 取出 A 同學的 Python 科目的期中成績
df3['Python', '期中']['A']

df2['Python']['A', '期中']

2.數學和統計方法

🚩pandas物件擁有一組常用的數學和統計方法，它們屬于匯總統計，對Series匯總計算獲取mean、max值或者對DataFrame行、列匯總計算回傳一個Series，

2.1 簡單統計指標

創建資料：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 100,size = (20, 3)),
                  index = list('ABCDEFHIJKLMNOPQRSTU'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
df

我們現在來把一部分資料設定為空：

def convert(x):
    if x > 80:
        return np.NaN
    else:
        return x
df['Python'] = df['Python'].map(convert)
df['Tensorflow'] = df['Tensorflow'].apply(convert)
df['Keras'] = df['Keras'].transform(convert)

df

現在我們想知道到底有多少個空資料，我們可以自己去數，但這顯然是低效的方法，使用 count() 函式可以直接去統計有多少個非空資料：

df.count()  # 統計非空資料的個數

我們重新來構造資料：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 100,size = (20, 3)),
                  index = list('ABCDEFHIJKLMNOPQRSTU'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
df

使用 median() 可以計算資料的中位數：

df.median()  # 中位數

display(df.quantile(q = 0.5)) # 回傳位于資料 50% 位置的數
display(df.quantile(q = 0.8)) # 回傳位于資料 80% 位置的數

我們也可以使用如下的方法實作同樣的效果：

df.quantile(q = [0.5, 0.8])

2.2 索引標簽、位置獲取

display(df['Python'].argmin()) # 計算最小值位置
display(df['Keras'].argmax()) # 最大值位置

display(df.idxmax()) # 最大值索引標簽
display(df.idxmin()) # 最小值索引標簽

索引就是自然數，標簽就是我們初始設定的 ABCD…，索引和標簽是一一對應的，如 0 對應的就是 A

2.3 更多統計指標

創建資料：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 5,size = (20, 3)),
                  index = list('ABCDEFHIJKLMNOPQRSTU'),
                  columns = ['Python', 'Tensorflow', 'Keras'])
df

使用 value_counts() 可以統計元素出現的次數：

# 統計元素出現次數
df['Python'].value_counts()

使用 unique() 可以實作去重：

# 去重
df['Python'].unique()

呼叫 cumsum() 實作累加，呼叫 cumprod() 實作累乘：

# 累加
display(df.cumsum())
# 累乘
display(df.cumprod())

cummin() 的作用是累計最小值，即碰到更小的數后，該數往后所有數都變成這個更小的數，cummax() 的作用是累計最大值，即碰到更大的數后，該數往后所有的數都變成這個更大的數：

# 累計最小值
display(df.cummin())
# 累計最大值
display(df.cummax())

計算標準差呼叫 std()，計算方差呼叫 var()

# 計算標準差
display(df.std())
# 計算方差
display(df.var())

計算差分使用 diff()，差分就是這一行減上一行的結果，計算百分比的變化使用 pct_change()：

# 計算差分
# 差分:和上一行相減
display(df.diff())
# 計算百分比變化
display(df.pct_change())

2.4 高級統計指標

我們使用 cov() 和 corr() 用來分別計算協方差和相關性系數：

協方差： C o v ( X , Y ) = ∑ 1 n ( X i ? X ￣ ) ( Y i ? Y ￣ ) n ? 1 Cov(X,Y) = \frac{\sum_{1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}{n-1} Cov(X,Y)=n?1∑1n?(Xi??X)(Yi??Y)?

相關性系數： r ( X , Y ) = C o v ( X , Y ) V a r [ X ] V a r [ Y ] r(X,Y) = \frac{Cov(X,Y)}{\sqrt{Var[X]Var[Y]}} r(X,Y)=Var[X]Var[Y] ?Cov(X,Y)?

# 屬性的協方差
display(df.cov())
# Python和Keras的協方差
display(df['Python'].cov(df['Keras'])) 

# 所有屬性相關性系數
display(df.corr())
# 單一屬性相關性系數
display(df.corrwith(df['Tensorflow']))

3.資料排序

創建資料

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 30, size = (30, 3)),
                  index = list('qwertyuioijhgfcasdcvbnerfghjcf'),
                  columns = ['Python', 'Keras', 'Pytorch'])
df

是一個看起來亂糟糟的資料，我們排序介紹三種方法

3.1 根據索引行列名進行排序

# 按行名排序，升序
display(df.sort_index(axis = 0, ascending = True))
# 按列名排序，降序
display(df.sort_index(axis = 1, ascending = False)) 

當然，按照索引行列名進行排序是不常用的，我們一般都是對資料進行排序

3.2 屬性值排序

# 按Python屬性值排序
display(df.sort_values(by = ['Python']))
# 先按Python，再按Keras排序
display(df.sort_values(by = ['Python', 'Keras']))

3.3 回傳屬性n大或者n小的值

# 根據屬性Keras排序,回傳最大3個資料
display(df.nlargest(3, columns = 'Keras'))
# 根據屬性Python排序，回傳最小5個資料
display(df.nsmallest(5, columns = 'Python'))

4.分箱操作

🚩分箱操作就是將連續資料轉換為分類對應物的程序，比如將連續的身高資料劃分為：矮中高，
分箱操作分為等距分箱和等頻分箱，
分箱操作也叫面元劃分或者離散化，

我們先來創建資料：

import numpy as np
import pandas as pd

df = pd.DataFrame(data = np.random.randint(0, 150, size = (100, 3)),
                  columns = ['Python', 'Tensorflow', 'Keras'])
df

4.1 等寬分箱

🚩等寬分箱在實際操作中意義不大，因為我們一般都會給一個特定的分類標準，比如高于 60 是及格，等分在生活中應用并不多

# bins = 3 表示把 Python 成績劃分成三份
pd.cut(df.Python, bins = 3)

4.2 指定寬度分箱

🚩下述代碼就實作了自行定義寬度進行分箱操作，在下述帶啊中，不及格是 [ 0 , 60 ) [0,60) [0,60)，中等是 [ 60 , 90 ) [60, 90) [60,90)，良好是 [ 90 , 120 ) [90, 120) [90,120)，優秀是 [ 120 , 150 ) [120, 150) [120,150) 均為左閉右開，這個是由 right = False 設定的

pd.cut(df.Keras,   #分箱資料
       bins = [0, 60, 90, 120, 150],  # 分箱斷點
       right = False,      # 左閉右開
       labels=['不及格', '中等', '良好', '優秀'])# 分箱后分類

4.3 等頻分箱

🚩等頻分箱是按照大家的普遍情況進行等分的操作

pd.qcut(df.Python,q = 4,                 # 4等分
        labels=['差', '中', '良', '優']) # 分箱后分類

5.分組聚合

首先來創建資料：

import numpy as np
import pandas as pd
# 準備資料
df = pd.DataFrame(data = {'sex':np.random.randint(0, 2, size = 300), # 0男，1女
                          'class':np.random.randint(1, 9, size = 300),# 1~8八個班
                          'Python':np.random.randint(0, 151, size = 300),# Python成績
                          'Keras':np.random.randint(0, 151, size =300),# Keras成績
                          'Tensorflow':np.random.randint(0, 151, size = 300),
                          'Java':np.random.randint(0, 151,size = 300),
                          'C++':np.random.randint(0, 151, size = 300)})
df['sex'] = df['sex'].map({0:'男', 1:'女'})             # 將0，1映射成男女
df

5.1 分組

🚩根據性別分組并求出平均值，并把平均值保留一位小數：

df.groupby(by = 'sex').mean().round(1)

分組統計男女的數量：

df.groupby(by = 'sex').size()

根據性別和班級兩個屬性進行分組：

df.groupby(by = ['sex', 'class']).size()

獲取每個班，男生女生 P y t h o n ， J a v a Python，Java Python，Java 最高分

df.groupby(by = ['sex', 'class'])[['Python', 'Java']].max()

我們通過多層索引的思想對上述代碼稍作調整：

df.groupby(by = ['class', 'sex'])[['Python', 'Java']].max()

再用之前學過的資料重塑，又可以稍加變形：

df.groupby(by = ['class', 'sex'])[['Python', 'Java']].max().unstack()

5.2 分組聚合apply、transform

🚩 a p p l y apply apply 回傳的是匯總后的情況，對于每一個分組大類都只回傳一個結果：

df.groupby(by = ['class','sex'])[['Python','Keras']].apply(np.mean).round(1)

t r a n s f o r m transform transform 是把所有的元素全部回傳：

df.groupby(by = ['class','sex'])[['Python','Keras']].transform(np.mean).round(1)

5.3 分組聚合agg

🚩agg 比起 apply 和 transform 來說，功能更加的強大

# 按照班級和性別進行劃分,統計 Tensorflow 和 Keras 這兩門學科的最大值,最小值,個數
df.groupby(by = ['class','sex'])[['Tensorflow','Keras']].agg(
    [np.max, np.min, pd.Series.count])

# 分組后不同屬性應用多種不同統計匯總
# 對 Python 計算最大值和最小值
# 對 Keras 計數和計算中位數
df.groupby(by = ['class','sex'])[['Python','Keras']].agg(
    {'Python':[('最大值',np.max),('最小值',np.min)],
     'Keras':[('計數',pd.Series.count),('中位數',np.median)]})

5.4 透視表pivot_table

🚩所謂透視，其實就是發現事物的一定規律

def count(x):
    return len(x)
df.pivot_table(values=['Python', 'Keras', 'Tensorflow'],# 要透視分組的值
               index=['class', 'sex'], # 分組透視指標,相當于之前的 by
               aggfunc={'Python':[('最大值', np.max)], # 聚合運算
                        'Keras':[('最小值', np.min),('中位數', np.median)],
                        'Tensorflow':[('最小值', np.min),('平均值', np.mean),('計數', count)]})

6.資料可視化

🚩修本章節之前需要安裝 m a t p l o t l i b matplotlib matplotlib，建議先修：matplotlib的安裝教程以及簡單呼叫

6.1 線形圖

df1 = pd.DataFrame(data = np.random.randn(1000, 4),
                  index = pd.date_range(start = '23/1/2022', periods = 1000),
                  columns=list('ABCD'))
df1.cumsum().plot()

6.2 條形圖

df2 = pd.DataFrame(data = np.random.rand(10, 4),
                   columns = list('ABCD'))
display(df2.plot.bar(stacked = True)) # stacked 堆疊
display(df2.plot.bar(stacked = False))# stacked 不堆疊

6.3 餅圖

# 餅圖用來表示百分比,百分比是自動計算的,顏色可以更換
df3 = pd.DataFrame(data = np.random.rand(4, 2),
                   index = list('ABCD'),
                   columns = ['One', 'Two'])
# subplots 表示兩個圖,多個圖
# figsize 表示尺寸
df3.plot.pie(subplots = True,figsize = (8, 8))

更換顏色：

# 更換顏色
df3 = pd.DataFrame(data = np.random.rand(4, 2),
                   index = list('ABCD'),
                   columns = ['One', 'Two'])
df3.plot.pie(subplots = True,figsize = (8, 8),
             colors = np.random.random(size = (4, 3)))

6.4 散點圖

# 橫縱坐標,表示兩個屬性之間的關系
df4 = pd.DataFrame(np.random.randint(0, 50, size = (50, 4)), columns = list('ABCD'))
display(df4.plot.scatter(x = 'A', y = 'B')) # A和B關系繪制

df4['F'] = df4['C'].map(lambda x : x + np.random.randint(-5, 5, size = 1)[0])
display(df4.plot.scatter(x = 'C', y = 'F'))

6.5 面積圖

df5 = pd.DataFrame(data = np.random.rand(10, 4), 
                   columns = list('ABCD'))
display(df5.plot.area(stacked = True))  # stacked 堆疊
display(df5.plot.area(stacked = False)) # stacked 不堆疊

同樣，我們可以調節它的顏色：

df5 = pd.DataFrame(data = np.random.rand(10, 4), 
                   columns = list('ABCD'))
display(df5.plot.area(stacked = True,
                      color = np.random.rand(4, 3)))
# 解釋一下 random.rand(4, 3)
# 3就代表三個顏色:紅綠藍(三基色)
# 4就代表 ABCD

7.訓練場

首先我們需要下載一個 Excel 檔案：

鏈接：https://pan.baidu.com/s/1gkEEH1yVA1RdaXTrFbw3ww?pwd=rm9t
提取碼：rm9t

下載完成之后，把該檔案和我們的代碼放到同一個檔案夾下，這一操作我們在之前的博客中已經反復說到，這里就不再進行演示

7.1 找到一班（名字后面跟的數字表示班級），獲取班級將其男生1000米跑，成績繪制線形圖

import numpy as np
import pandas as pd

# 獲取1班資料
df = pd.read_excel('./分數匯總.xlsx', sheet_name = 0)
# 獲取1班的名字
cnt = df['姓名'].str[3:].astype(np.int16) == 1
df2 = df[cnt]

s = df2['男1000米跑分數']
# 把 Series 資料轉為 DataFrame
# 重置行索引，0、1、2、3......
score = s.reset_index()[['男1000米跑分數']]

# 繪圖
score.plot()

繪圖雖然繪制出來了，但是報錯一大堆，這是因為有中文的原因，我們接著繼續處理：
接下來的處理方法涉及 m a t p l o t l i b matplotlib matplotlib，屬于超綱內容，可以不進行模擬，安裝 m a t p l o t l i b matplotlib matplotlib 見博文：matplotlib的安裝教程以及簡單呼叫
這是字體需要導包：import matplotlib.pyplot as plt

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 獲取1班資料
df = pd.read_excel('./分數匯總.xlsx', sheet_name = 0)
# 獲取1班的名字
cnt = df['姓名'].str[3:].astype(np.int16) == 1
df2 = df[cnt]

s = df2['男1000米跑分數']
# 把 Series 資料轉為 DataFrame
# 重置行索引，0、1、2、3......
score = s.reset_index()[['男1000米跑分數']]

# 把字體設定為楷體(你的電腦上需有這個字體才能進行設定)
plt.rcParams['font.family'] = 'STKaiti'
# 調整字體大小
plt.rcParams['font.size'] = 18

# 繪圖
score.plot()

7.2 對各項體側指標進行分箱操作：不及格（0~59）、及格（60~69）、中等(70~79)、良好(80~89)、優秀(90~100)

columns = df.columns
for col in columns:
    if col.endswith('分數'):
        df[col] = pd.cut(df[col], bins = [0, 60, 70, 80, 90, 101],
                         labels = ['不及格', '及格', '中等', '良好', '優秀'],
                         right = False)
        
df2 = pd.read_excel('./分數匯總.xlsx', sheet_name = 1)
columns = df2.columns
for col in columns:
    if col.endswith('分數'):
        df2[col] = pd.cut(df2[col], bins = [0, 60, 70, 80, 90, 101],
                          labels = ['不及格', '及格', '中等', '良好', '優秀'],
                          right = False)

7.3 繪制全校男生1000米跑和男跳遠的條形圖（分箱操作后統計各個成績水平數量）

# 獲取男1000米跑分數的資料
s1 = df['男1000米跑分數'].value_counts()
s1.sort_index()
# 獲取男跳遠分數的資料
s2 = df['男跳遠分數'].value_counts()
s2.sort_index()
# 合并成為一個新的 DataFrame
df3 = pd.DataFrame({'男1000米跑分數':s1, '男跳遠分數':s2})
# 繪圖
df3.plot.bar()

7.4 繪制全校女生50米跑和女仰臥的餅圖（分箱操作后統計各個成績水平的數量）

# 獲取女50米跑分數的資料
s3 = df2['女50米跑分數'].value_counts()
s3 = s3.sort_index()
# 獲取女仰臥分數的資料
s4 = df2['女仰臥分數'].value_counts()
s4 = s3.sort_index()
# 合并資料
df4 = pd.DataFrame({'女50米跑分數':s3, '女仰臥分數':s4})

df4.plot.pie(subplots = True)

更改一下我們的影像尺寸：

# 獲取女50米跑分數的資料
s3 = df2['女50米跑分數'].value_counts()
s3 = s3.sort_index()
# 獲取女仰臥分數的資料
s4 = df2['女仰臥分數'].value_counts()
s4 = s3.sort_index()
# 合并資料
df4 = pd.DataFrame({'女50米跑分數':s3, '女仰臥分數':s4})

df4.plot.pie(subplots = True, figsize = (16, 16))

顯示各部分的百分比：

# 獲取女50米跑分數的資料
s3 = df2['女50米跑分數'].value_counts()
s3 = s3.sort_index()
# 獲取女仰臥分數的資料
s4 = df2['女仰臥分數'].value_counts()
s4 = s3.sort_index()
# 合并資料
df4 = pd.DataFrame({'女50米跑分數':s3, '女仰臥分數':s4})
# 顯示百分比，百分比保留兩位小數
df4.plot.pie(subplots = True, figsize = (16, 16), autopct = '%0.2f%%')

7.5 繪制男跳遠、女跳遠的堆疊條形圖（分箱操作后統計各個成績水平的數量）

# 獲取男跳遠分數的資料
s5 = df['男跳遠分數'].value_counts()
s5 = s5.sort_index()
# 獲取女跳遠分數的資料
s6 = df2['女跳遠分數'].value_counts()
s6 = s6.sort_index()
# 資料合并
df5 = pd.DataFrame({'男跳遠分數':s5, '女跳遠分數':s6})
# 繪制堆疊條形圖
df5.plot.bar(stacked = True)

總結：pandas庫的亮點

• 一個快速、高效的DataFrame物件，用于資料操作和綜合索引；
• 用于在記憶體資料結構和不同格式之間讀寫資料的工具：CSV和文本檔案、Microsoft Excel、SQL資料庫和快速HDF 5格式；
• 智能資料對齊和丟失資料的綜合處理：在計算中獲得基于標簽的自動對齊，并輕松地將凌亂的資料操作為有序的形式；
• 資料集的靈活調整和旋轉；
• 基于智能標簽的切片、花式索引和大型資料集的子集；
• 可以從資料結構中插入和洗掉列，以實作大小可變；
• 通過在強大的引擎中聚合或轉換資料，允許對資料集進行拆分應用組合操作;
• 資料集的高性能合并和連接；
• 層次軸索引提供了在低維資料結構中處理高維資料的直觀方法；
• 時間序列-功能：日期范圍生成和頻率轉換、移動視窗統計、移動視窗線性回歸、日期轉換和滯后，甚至在不丟失資料的情況下創建特定領域的時間偏移和加入時間序列；
• 對性能進行了高度優化，用Cython或C撰寫了關鍵代碼路徑，
• Python與pandas在廣泛的學術和商業領域中使用，包括金融，神經科學，經濟學，統計學，廣告，網路分析，等等
• 學到這里，體會一會pandas庫的亮點，如果對哪些還不熟悉，請對之前知識點再次進行復習，