DataWhale & Pandas（三、索引）

Pandas學習手冊

學習大綱：

目錄

DataWhale & Pandas（三、索引）

學習大綱：

三、索引

3. 索引器

3.1 列索引

注意

3.2 行索引

注意

3.3 loc索引器

注意

3.4.iloc

4. 多級索引

4.1 多級索引及其表的結構

4.2 多級索引中的loc索引器

注意：

5、索引的常用方法

5.1. 索引層的交換和洗掉

5.2 索引屬性的修改

5.3. 索引的設定與重置

5.4 索引的變形

6.索引運算

6.1. 集合的運演算法則

6.2. 一般的索引運算

7.練習

Ex1：公司員工資料集

Ex2：巧克力資料集

三、索引

首先需要匯入numpy和pandas庫

import numpy as np

import pandas as pd

3. 索引器

在dataframe里面分為行索引和列索引，

• 行索引：index
• 列索引：columns

3.1 列索引

列索引呢，比較常見，一般通過[]來實作，就比方下面這個例子從資料集中取出姓名這一列：

df = pd.read_csv('../data/learn_pandas.csv', 
usecols = ['School', 'Grade', 'Name',
 'Gender', 'Weight', 'Transfer'])          #匯入資料集
df['Name'].head()                          #取出姓名這列

那同理呢，取出學校這列就是：

我們學會了提取一列的方法，這個時候我們提取多列試一下，我們提取性別和姓名兩列試一下：

注意：

• 若要取出單列，且列名中不包含空格，則可以用.列名取出，這和[列名]是等價的

.NAME = [NAME]

3.2 行索引

以字串為索引的Series

• 如果取出單個索引的對應元素，則可以使用[item]，若Series只有單個值對應，則回傳這個標量值，如果有多個值對應，則回傳一個Series
• 如果取出多個索引的對應元素，則可以使用[items的串列]
• 如果想要取出某兩個索引之間的元素，并且這兩個索引是在整個索引中唯一出現，則可以使用切片,，同時需要注意這里的切片會包含兩個端點

以整數為索引的Series

• 在使用資料的讀入函式時，如果不特別指定所對應的列作為索引，那么會生成從0開始的整數索引作為默認索引，當然，任意一組符合長度要求的整數都可以作為索引，
• 和字串一樣，如果使用[int]或[int_list]，則可以取出對應索引元素的值
• 如果使用整數切片，則會取出對應索引位置的值，注意這里的整數切片同Python中的切片一樣不包含右端點

注意：

不要把純浮點以及任何混合型別（字串、整數、浮點型別等的混合）作為索引，否則可能會在具體的操作時報錯或者回傳非預期的結果

3.3 loc索引器

對于表而言，有兩種索引器，

• 一種是基于元素的loc索引器，
• 另一種是基于位置的iloc索引器，

loc索引器的一般形式是loc[*, *]，其中：

• 第一個*代表行的選擇
• 第二個*代表列的選擇

如果省略第二個位置寫作loc[*]，這個*是指行的篩選，

其中，*的位置一共有五類合法物件，分別是：單個元素、元素串列、元素切片、布爾串列以及函式

這里利用set_index方法把Name列設為索引

df_demo = df.set_index('Name')
df_demo.head()

1. *為單個元素

此時，直接取出相應的行或列，如果該元素在索引中重復則結果為DataFrame，否則為Series

df_demo.loc['Qiang Sun'] # 多個人叫此名字
df_demo.loc['Quan Zhao'] # 名字唯一

也可以同時選擇行和列

df_demo.loc['Qiang Sun', 'School'] # 回傳Series
df_demo.loc['Quan Zhao', 'School'] # 回傳單個元素

2. *為元素串列

取出串列中所有元素值對應的行或列

df_demo.loc[['Qiang Sun','Quan Zhao'], ['School','Gender']]

3. *為切片

之前的Series使用字串索引時提到，如果是唯一值的起點和終點字符，那么就可以使用切片，并且包含兩個端點，如果不唯一則報錯

df_demo.loc['Gaojuan You':'Gaoqiang Qian', 'School':'Gender']

需要注意的是，如果DataFrame使用整數索引，其使用整數切片的時候和上面字串索引的要求一致，都是元素切片，包含端點且起點、終點不允許有重復值

df_loc_slice_demo = df_demo.copy()
df_loc_slice_demo.index = range(df_demo.shape[0],0,-1)
df_loc_slice_demo.loc[5:3]

df_loc_slice_demo.loc[3:5] # 沒有回傳，說明不是整數位置切片

4. *為布爾串列

在實際的資料處理中，根據條件來篩選行是極其常見的，此處傳入loc的布爾串列與DataFrame長度相同，且串列為True的位置所對應的行會被選中，False則會被剔除，

例如，選出體重超過70kg的學生

df_demo.loc[df_demo.Weight>70].head()  #選出體重超過70kg的學生
df_demo.loc[df_demo.Grade.isin(['Freshman', 'Senior'])].head()  #選出所有大一和大四的同學資訊
#  選出復旦大學中體重超過70kg的大四學生，或者北大男生中體重超過80kg的非大四的學生
condition_1_1 = df_demo.School == 'Fudan University'
condition_1_2 = df_demo.Grade == 'Senior'
condition_1_3 = df_demo.Weight > 70
condition_1 = condition_1_1 & condition_1_2 & condition_1_3
condition_2_1 = df_demo.School == 'Peking University'
condition_2_2 = df_demo.Grade == 'Senior'
condition_2_3 = df_demo.Weight > 80
condition_2 = condition_2_1 & (~condition_2_2) & condition_2_3
df_demo.loc[condition_1 | condition_2] ##同時使用多個條件時可以通過定義布林值變數進行多條件篩選

5.*為函式

這里的函式，必須以前面的四種合法形式之一為回傳值，并且函式的輸入值為DataFrame本身，

def condition(x):
    condition_1_1 = x.School == 'Fudan University'
    condition_1_2 = x.Grade == 'Senior'
    condition_1_3 = x.Weight > 70
    condition_1 = condition_1_1 & condition_1_2 & condition_1_3
    condition_2_1 = x.School == 'Peking University'
    condition_2_2 = x.Grade == 'Senior'
    condition_2_3 = x.Weight > 80
    condition_2 = condition_2_1 & (~condition_2_2) & condition_2_3
    result = condition_1 | condition_2
    return result
df_demo.loc[condition]  ##這里的函式回傳值必須是前面要求的布林值串列

注意：

不要使用鏈式賦值

在對表或者序列賦值時，應當在使用一層索引器后直接進行賦值操作，這樣做是由于進行多次索引后賦值是賦在臨時回傳的copy副本上的，而沒有真正修改元素從而報出SettingWithCopyWarning警告，

3.4.iloc

.iloc() 是基于整數的索引，利用元素在各個軸上的索引序號進行選擇，序號超過范圍產生IndexError，切片時允許序號超過范圍，

• 整數，類似于.loc，只使用一個維度，即對行選擇，小標默認從 0 開始，例如：df.iloc[5]，選擇df第 6 行，
• 整數串列或者陣列，例如df.iloc[[5, 1, 7]]，選擇df第 6 行， 第 2 行， 第 8 行，
• 元素為整數的切片操作，不同于.loc，則下標為 stop 的資料不被選擇，如：df.iloc[0:3]， 只包含 0，1，2行，不包含第 3 行，
• 也可以使用布爾陣列進行篩選，例如 df.iloc[np.array(df.A>0.5)]，df.iloc[list(df.A>0.5)]，
• 注意使用布爾陣列進行篩選時，可以使用 list 或者 array，使用 Series會出錯，NotImplementedError 和 ValueError，前者是 Series 的 index 與待切片 DataFrame的index 不同時報錯，后置 index 相同時報錯，與.loc使用布爾陣列，可以使用 list, array, 也可以使用Series，使用Series時 index需要一致，否則會報 IndexError，

4. 多級索引

4.1 多級索引及其表的結構

1.隱式創建

　　在建構式中給index、colunms等多個陣列實作（datafarme與series都可以）

2.顯式創建pd.MultiIndex

　　其中.from_arrays為引數，推薦使用簡單的from_product函式

4.2 多級索引中的loc索引器

df_m=df.set_index(['School','Grade'])

注意：

• 索引的名字和值屬性分別可以通過names和values獲得
• 如果想要得到某一層的索引，則需要通過get_level_values獲得
• 但對于索引而言，無論是單層還是多層，用戶都無法通過index_obj[0] = item的方式來修改元素，也不能通過index_name[0] = new_name的方式來修改名字
• 在索引前最好對MultiIndex進行排序以避免性能警告
• 與單層索引類似，若存在重復元素，則不能使用切片，請去除重復索引后給出一個元素切片的例子

5、索引的常用方法

5.1. 索引層的交換和洗掉

5.2 索引屬性的修改

通過rename_axis可以對索引層的名字進行修改，常用的修改方式是傳入字典的映射

df_ex.rename_axis(index={'Upper':'Changed_row'}, columns={'Other':'Changed_Col'}).head()

通過rename可以對索引的值進行修改，如果是多級索引需要指定修改的層號level

df_ex.rename(columns={'cat':'not_cat'}, level=2).head()

5.3. 索引的設定與重置

new_df= pd.DataFrame({'H':list('hello'),'W':list('World'),'S':[1,2,3,4,5]})
# 索引的設定可以使用 set_index 完成，
# 其主要引數是 append ，表示是否來保留原來的索引，直接把新設定的添加到原索引的內層
df_new.set_index('A')
df_new.set_index('A', append=True)
#可以同時指定多個列作為索引
df_new.set_index(['A', 'B'])
#如果想要添加索引的列沒有出現再其中，那么可以直接在引數中傳入相應的Series
my_index = pd.Series(list('WXYZA'), name='D')
new_df=new_df.set_index(['H',my_index])
df_new
# reset_index 是 set_index 的逆函式，其主要引數是 drop ，
df_new.reset_index(['D'])
# 表示是否要把去掉的索引層丟棄，而不是添加到列中
df_new.reset_index(['D'],drop=True)
#如果重置了所有的索引，那么pandas會直接重新生成一個默認索引
df_new.reset_index()

5.4 索引的變形

在某些場合下，需要對索引做一些擴充或者剔除，更具體地要求是給定一個新的索引，把原表中相應的索引對應元素填充到新索引構成的表中，

#要求增加一名員工的同時去掉身高列并增加性別列
df_reindex = pd.DataFrame({"Weight":[60,70,80], "Height":[176,180,179]}, index=['1001','1003','1002'])
df_reindex.reindex(index=['1001','1002','1003','1004'], columns=['Weight','Gender'])
#這種需求常出現在時間序列索引的時間點填充以及ID編號的擴充，另外，需要注意的是原來表中的資料和新表中會根據索引自動對其，例如原先的1002號位置在1003號之后，而新表中相反，那么reindex中會根據元素對其，與位置無關，

#還有一個與reindex功能類似的函式是reindex_like，其功能是仿照傳入的表的索引來進行被呼叫表索引的變形，例如，現在以及存在一張表具備了目標索引的條件，那么上述功能可以如下等價地寫出
df_existed = pd.DataFrame(index=['1001','1002','1003','1004'], columns=['Weight','Gender'])
df_reindex.reindex_like(df_existed)

6.索引運算

6.1. 集合的運演算法則

6.2. 一般的索引運算

由于集合的元素是互異的，但是索引中可能有相同的元素，先用unique 去重后再進行運算，下面構造兩張
最為簡單的示例表進行演示：

df_set_1 = pd.DataFrame([[0,1],[1,2],[3,4]],index = pd.Index(['a','b','a'],name='id1'))
df_set_2 = pd.DataFrame([[4,5],[2,6],[7,1]],index = pd.Index(['b','b','c'],name='id2'))
id1, id2 = df_set_1.index.unique(), df_set_2.index.unique()
id1.intersection(id2)

Index(['b'], dtype='object')

id1.union(id2)

Index(['a', 'b', 'c'], dtype='object')

id1.difference(id2)

Index(['a'], dtype='object')

id1.symmetric_difference(id2)

Index(['a', 'c'], dtype='object')

# 上述的四類運算還可以用等價的符號表示代替如下：
id1 & id2

Index(['b'], dtype='object')

id1 | id2

Index(['a', 'b', 'c'], dtype='object')

(id1 ^ id2) & id1

Index(['a'], dtype='object')

id1 ^ id2 # ^ 符號即對稱差

Index(['a', 'c'], dtype='object')

#若兩張表需要做集合運算的列并沒有被設定索引，一種辦法是先轉成索引，運算后再恢復，另一種方法是利
#用isin 函式，例如在重置索引的第一張表中選出id 列交集的所在行：
df_set_1

df_set_2

df_set_in_col_1 = df_set_1.reset_index()
df_set_in_col_2 = df_set_2.reset_index()
df_set_in_col_1[df_set_in_col_1.id1.isin(df_set_in_col_2.id2)]

7.練習

Ex1：公司員工資料集

現有一份公司員工資料集：

df = pd.read_csv('data/company.csv')
df.head(3)

# 
   EmployeeID birthdate_key  age  city_name department      job_title gender
0        1318      1/3/1954   61  Vancouver  Executive            CEO      M
1        1319      1/3/1957   58  Vancouver  Executive      VP Stores      F
2        1320      1/2/1955   60  Vancouver  Executive  Legal Counsel      F

分別只使用query和loc選出年齡不超過四十歲且作業部門為Dairy或Bakery的男性，

condition_1 = df['age'] <= 40
condition_2 = df['department'].isin(['Dairy', 'Bakery'])
condition_3 = df['gender'] == 'M'
condition = condition_1 & condition_2 & condition_3
df.loc[condition].head()

df.query('(age<=40) and (department == ["Dairy", "Bakery"]) and gender == "M"').head()

選出員工ID號 為奇數所在行的第1、第3和倒數第2列，

df.loc[df['EmployeeID']%2==1].iloc[:, [0, 2, -2]]

按照以下步驟進行索引操作：

• 把后三列設為索引后交換內外兩層

df_cp = df.set_index(['department', 'job_title', 'gender'])
df_cp = df_cp.swaplevel(0, 2, axis=0)
df_cp.head()

• 恢復中間一層

df_cp = df_cp.reset_index(['job_title'])
df_cp.head()

• 修改外層索引名為Gender

df_cp = df_cp.rename_axis(index={'gender': 'Gender'})
df_cp.head()

• 用下劃線合并兩層行索引

new_idx = df_cp.index.map(lambda x: x[0] + '_' + x[1])
df_cp.index = new_idx
df_cp.head()

• 把行索引拆分為原狀態

new_idx = df_cp.index.map(lambda x: tuple(x.split('_')))
df_cp.index = new_idx
df_cp.head()

• 修改索引名為原表名稱

df_cp = df_cp.rename_axis(index=['gender', 'department'])
df_cp.head()

• 恢復默認索引并將列保持為原表的相對位置

df_cp = df_cp.reindex(df.columns, axis=1)
df_cp.head()

Ex2：巧克力資料集

現有一份關于巧克力評價的資料集：

df = pd.read_csv('data/company.csv')
df.head(3)

• 把列索引名中的\n替換為空格，

df.columns = [' '.join(i.split('\n')) for i in df.columns]
df.head()

• 巧克力Rating評分為1至5，每0.25分一檔，請選出2.75分及以下且可可含量Cocoa Percent高于中位數的樣本，

df['Cocoa Percent'] = df['Cocoa Percent'].str.strip('%').astype('float64')/100
condition_1 = df['Rating'] <= 2.75
condition_2 = df['Cocoa Percent'] >= df['Cocoa Percent'].median()
df[condition_1 & condition_2].head()

• 將Review Date和Company Location設為索引后，選出Review Date在2012年之后且Company Location不屬于France, Canada, Amsterdam, Belgium的樣本