作者|Amanda Iglesias Moreno
編譯|VK
來源|Towards Datas Science
從資料幀中過濾資料是清理資料時最常見的操作之一，Pandas提供了一系列根據行和列的位置和標簽選擇資料的方法，此外，Pandas還允許你根據列型別獲取資料子集，并使用布爾索引篩選行，
在本文中，我們將介紹從Pandas資料框中選擇資料子集的最常見操作：
- 按標簽選擇單列
- 按標簽選擇多列
- 按資料型別選擇列
- 按標簽選擇一行
- 按標簽選擇多行
- 按位置選擇一行
- 按位置選擇多行
- 同時選擇行和列
- 選擇標量值
- 使用布爾選擇選擇選擇行
另外，我們將提供多個編碼示例！
資料集
在本文中，我們使用一個小資料集進行學習，在現實世界中，所使用的資料集要大得多；然而，用于過濾資料的程序保持不變，
資料框包含公司10名員工的資訊：(1)身份證，(2)姓名，(3)姓氏，(4)部門，(5)電話，(6)工資，(7)合同型別，
import pandas as pd
# 員工的資訊
id_number = ['128', '478', '257', '299', '175', '328', '099', '457', '144', '222']
name = ['Patrick', 'Amanda', 'Antonella', 'Eduard', 'John', 'Alejandra', 'Layton', 'Melanie', 'David', 'Lewis']
surname = ['Miller', 'Torres', 'Brown', 'Iglesias', 'Wright', 'Campos', 'Platt', 'Cavill', 'Lange', 'Bellow']
division = ['Sales', 'IT', 'IT', 'Sales', 'Marketing', 'Engineering', 'Engineering', 'Sales', 'Engineering', 'Sales']
salary = [30000, 54000, 80000, 79000, 15000, 18000, 30000, 35000, 45000, 30500]
telephone = ['7366578', '7366444', '7366120', '7366574', '7366113', '7366117', '7366777', '7366579', '7366441', '7366440']
type_contract = ['permanent', 'temporary', 'temporary', 'permanent', 'internship', 'internship', 'permanent', 'temporary', 'permanent', 'permanent']
# 包含員工資訊的dataframe
df_employees = pd.DataFrame({'name': name, 'surname': surname, 'division': division,
'salary': salary, 'telephone': telephone, 'type_contract': type_contract}, index=id_number)
df_employees
1.按標簽選擇單列
要在Pandas中選擇一個列，我們可以使用.運算子和[]運算子，
按標簽選擇單列
df[string]
下面的代碼使用這兩種方法訪問salary列，
# 使用.符號選擇列(salary)
salary = df_employees.salary
# 使用方括號選擇列(salary)
salary_2 = df_employees['salary']
# 當選擇單個列時，我們獲得一個Series物件
print(type(salary))
# <class 'pandas.core.series.Series'>
print(type(salary_2))
# <class 'pandas.core.series.Series'>
salary
如上所示，當檢索單個列時，結果是一個Series物件，為了在只選擇一列時獲得一個DataFrame物件，我們需要傳入一個串列，而不僅僅是一個字串，
# 通過向索引運算子傳遞一個字串來獲取一個Series物件
df_employees['salary']
# 通過將帶有單個項的串列傳遞給索引運算子來獲取DataFrame物件
df_employees[['salary']]
此外，重要的是要記住，當列名包含空格時，我們不能使用.表示法來訪問資料幀的特定列，如果我們這么做了，就會產生一個語法錯誤，
2.按標簽選擇多列
我們可以通過傳入一個列名稱如下的串列來選擇一個資料幀的多個列，
按標簽選擇多列
df[list_of_strings]
# 通過將包含列名的串列傳遞給索引運算子來選擇多個列
df_employees[['division', 'salary']]
如上所示，結果是一個DataFrame物件，只包含串列中提供的列，
3.按資料型別選擇列
我們可以使用pandas.DataFrame.select型別(include=None，exclude=None)根據列的資料型別選擇列，該方法接受引數include和exclude中的串列或單個資料型別，
請記住，必須至少提供其中一個引數(include或exclude)，并且它們不能包含重疊的元素，
按資料型別選擇列
df.select_dtypes(include=None, exclude=None)
在下面的示例中，我們通過傳入np.number物件添加到include引數，或者，我們可以通過提供字串'number'作為輸入來獲得相同的結果，
可以看到，select_dtypes()方法回傳一個DataFrame物件，該物件包括include引數中的資料型別，而排除exclude引數中的資料型別，
import numpy as np
# 選擇數值列- numpy物件
numeric_inputs = df_employees.select_dtypes(include=np.number)
# 使用.columns屬性
numeric_inputs.columns
# Index(['salary'], dtype='object')
# 該方法回傳一個DataFrame物件
print(type(numeric_inputs))
# <class 'pandas.core.frame.DataFrame'>
# 選擇數字列
numeric_inputs_2 = df_employees.select_dtypes(include='number')
# 使用.columns屬性
numeric_inputs_2.columns
# Index(['salary'], dtype='object')
# 該方法回傳一個DataFrame物件
print(type(numeric_inputs_2))
# <class 'pandas.core.frame.DataFrame'>
# 可視化資料框
numeric_inputs
如前所述，select_dtypes()方法可以同時接受字串和numpy物件作為輸入，下表顯示了在Pandas中參考資料型別的最常用方法，
作為提醒，我們可以使用pandas.DataFrame.info方法或使用pandas.DataFrame.dtypes屬性，前者列印資料幀的簡明摘要，包括列名及其資料型別，而后者回傳一個包含每個列的資料型別的序列，
# 資料框架的簡要摘要，包括列名及其資料型別
df_employees.info()
# 檢查列的資料型別
df_employees.dtypes
4.按標簽選擇單行
資料幀和序列不一定有數字索引，默認情況下，索引是表示行位置的整數；但是，它也可以是字母數字字串，在我們當前的示例中，索引是員工的id號，
# 我們可以使用.index方法檢查資料幀的索引
df_employees.index
# Index(['128', '478', '257', '299', '175', '328', '099', '457', '144', '222'], dtype='object')
# 索引是雇員的id號，
要按id號選擇一行，我們可以使用.loc[]索引器提供一個字串(索引名)作為輸入，
按標簽選擇單行
df.loc[string]
下面的代碼顯示如何選擇id號為478的員工，
# 使用.loc[]索引器選擇id號為478的員工
df_employees.loc['478']
如上所示，當選中一行時，.loc[]索引器將回傳一個Series物件，但是，我們也可以通過將單個元素串列傳遞給.loc[]方法來獲得單行資料幀，如下所示，
# 使用.loc[]索引器選擇id號為478的雇員，并提供一個單元素串列
df_employees.loc[['478']]
5.按標簽選擇多行
我們可以使用.loc[]索引器選擇多行，除單個標簽外，索引器還接受一個串列或標簽片段作為輸入，
按標簽選擇多行
df.loc[list_of_strings]
df.loc[slice_of_strings]
接下來，我們獲得包含id號為478和222的雇員的資料幀的子集，如下所示，
# 使用.loc[]索引器選擇id號為478和222的員工
df_employees.loc[['478', '222']]
請注意，始終包含.loc[]方法的結束索引，這意味著所選內容包括最后一個標簽，
6.按位置選擇單行
iloc[]索引器用于按位置索引資料幀，要使用.iloc[]屬性選擇單行，我們將行位置(單個整數)傳遞給索引器，
按位置選擇單行
df.iloc[integer]
在下面的代碼塊中，我們選擇索引為0的行，在這種情況下，回傳資料幀的第一行，因為在Pandas中索引從0開始，
# 選擇資料幀的第一行
df_employees.iloc[0]
此外，.iloc[]索引器還支持負整數(從-1開始)作為相對于資料幀末尾的相對位置，
# 選擇資料幀的最后一行
df_employees.iloc[-1]
如上所示，當選擇一行時，.iloc[]索引器回傳一個以列名作為索引的Series物件，但是，正如我們對.loc[]索引器所做的那樣，我們還可以通過以下方式將單個整數串列傳遞給索引器來獲取資料幀，
# 選擇資料幀的最后一行
df_employees.iloc[[-1]]
最后，請記住，在嘗試訪問超出邊界的索引時會引發索引器錯誤，
# 資料框的形狀- 10行6列
df_employees.shape
# (10, 6)
# 當試圖訪問一個越界的索引時，會引發一個IndexError
df_employees.iloc[10]
# IndexError
7.通過多個位置選擇
為了按位置提取多行，我們將list或slice物件傳遞給.iloc[]索引器，
按位置選擇多行
df.iloc[list_of_integers]
df.iloc[slice_of_integers]
下面的代碼塊演示如何使用整數串列選擇資料幀的前五行，
# 使用串列選擇dataframe的前5行
df_employees.iloc[[0, 1, 2, 3, 4]]v
或者，我們可以使用切片表示法得到相同的結果，
# 使用切片選擇dataframe的前5行
df_employees.iloc[0:5]
如上所示，Python切片規則(半開區間)適用于.iloc[]屬性，這意味著包含第一個索引，但不包括結束索引，
8.同時選擇行和列
到目前為止，我們已經學習了如何使用.loc[]和.iloc[]索引器按標簽或位置選擇資料幀中的行，但是，這兩個索引器不僅能夠同時選擇行，還可以同時選擇行和列，
為此，我們必須提供用逗號分隔的行和列標簽/位置，如下所示：
同時選擇行和列
df.loc[row_labels, column_labels]
df.iloc[row_positions, column_positions]
其中行標簽和列標簽可以是單個字串、字串串列或字串片段，同樣，行位置和列位置可以是單個整數、整數串列或整數切片，
下面的示例演示如何使用.loc[]和.iloc[]索引器同時提取行和列，
- 選擇標量值
我們選擇id為478的員工的工資，方法如下，
# 按位置選擇身份證號為478的員工的工資
df_employees.iloc[1, 3]
# 根據標簽選擇id號為478的員工的工資
df_employees.loc['478', 'salary']
# 54000
在本例中，兩個索引器的輸出都是整數，
- 選擇單行和多列
我們選擇id號為478的員工的姓名、姓氏和薪水，方法是將一個值作為第一個引數，將一個值串列作為第二個引數，從而獲得一個Series物件，
# 按職位選擇身份證號為478的員工的姓名、姓氏和工資
df_employees.iloc[1, [0, 1, 3]]
# 通過標簽選擇身份證號為478的員工的姓名、姓氏和工資
df_employees.loc['478', ['name', 'surname', 'salary']]
- 選擇不相交的行和列
要選擇多行和多列，我們需要向兩個索引器傳遞兩個值串列，下面的代碼顯示如何提取id號為478和222的員工的姓名、姓氏和工資，
# 按職位選擇身份證號為478和222的員工的姓名、姓氏和工資
df_employees.iloc[[1, 9], [0, 1, 3]]
# 根據標簽選擇身份證號為478和222的員工的姓名、姓氏和工資
df_employees.loc[['478', '222'], ['name', 'surname', 'salary']]
與以前不同，這兩個索引器的輸出都是一個DataFrame物件，
- 選擇連續的行和列
我們可以使用切片表示法提取資料幀的連續行和列，下面的代碼片段顯示如何選擇id號為128、478、257和299的員工的姓名、姓氏和薪水，
# 按職位選擇id號為128、478、257、299的員工的姓名、姓氏和工資
df_employees.iloc[:4, [0, 1, 3]]
# 按標簽選擇id號為128、478、257、299的員工的姓名、姓氏和工資
df_employees.loc[:'299', ['name', 'surname', 'salary']]
如上所示，我們只使用切片表示法來提取資料幀的行，因為我們要選擇的id號是連續的(索引從0到3)，
一定要記住.loc[]索引器使用一個閉合的間隔，同時提取開始標簽和停止標簽，相反，.iloc[]索引器使用半開區間，因此不包括停止索引處的值，
9.使用.at[]和.iat[]索引器選擇標量值
如上所述，我們可以通過將兩個用逗號分隔的字串/整數傳遞給.loc[]和.iloc[]索引器來選擇標量值，此外，Pandas還提供了兩個優化函式來從資料幀物件中提取標量值：.at[]和.iat[]運算子，前者通過標簽提取單個值，而后者通過位置訪問單個值，
通過標簽和位置選擇標量值
df.at[string, string]
df.iat[integer, integer]
下面的代碼顯示如何使用.at[]和.iat[]索引器按標簽和位置選擇id號為478的員工的工資，
# 按位置選擇身份證號為478的員工的工資
df_employees.iat[1, 3]
# 根據標簽選擇id號為478的員工的工資
df_employees.at['478', 'salary']
# 54000
我們可以使用%timeit magic函式來計算這兩個Python陳述句的執行時間，如下所示，.at[]和.iat[]運算子比.loc[]和.iloc[]索引器快得多，
# loc索引器的執行時間
%timeit df_employees.loc['478', 'salary']
# at索引器的執行時間
%timeit df_employees.at['478', 'salary']
# iloc索引器的執行時間
%timeit df_employees.iloc[1, 3]
# iat索引器的執行時間
%timeit df_employees.iat[1, 3]
最后，必須記住，.at[]和.iat[]索引器只能用于訪問單個值，在嘗試選擇資料幀的多個元素時會引發型別錯誤，
# 當嘗試選擇多個元素時，會引發例外
df_employees.at['478', ['name', 'surname', 'salary']]
# TypeError
10.使用布爾選擇行
到目前為止，我們已經根據標簽和位置過濾了資料幀中的行和列，或者，我們也可以用布爾索引在Pandas中選擇一個子集，布爾選擇包括通過為每一行提供布林值(True或False)來選擇資料幀的行，
在大多數情況下，這個布爾陣列是通過將一個條件應用于一個或多個列的值來計算的，該條件的計算結果為True或False，具體取決于這些值是否滿足條件，但是，也可以使用其他序列、Numpy陣列、串列或Pandas系列手動創建布爾陣列，
然后，布林值序列放在方括號[]內，回傳與真值相關聯的行，
使用布爾選擇選擇選擇行
df[sequence_of_booleans]
根據單列值的布爾選擇
根據單列值過濾資料幀的最常見方法是使用比較運算子，
比較運算子計算兩個運算元(A和b)之間的關系，并根據是否滿足條件回傳True或False，下表包含Python中可用的比較運算子，
這些比較運算子可用于資料幀的單列，以獲得布林值序列，例如，我們使用大于運算子確定員工的工資是否大于45000，如下所示，
# 工資超過45000的員工
df_employees['salary'] > 45000
輸出是一系列布爾函式，其中工資高于45000為真，低于或等于45000為假，正如你可能注意到的那樣，boolean系列具有與原始資料幀相同的索引(id編號)，
可以將此序列傳遞給索引運算子[]，以僅回傳結果為True的行，
# 選擇工資高于45000的員工
df_employees[df_employees['salary'] > 45000]
如上所示，我們獲得了一個資料幀物件，其中只包含工資高于45000的員工，
根據多列值的布爾選擇
之前，我們已經根據一個條件過濾了一個資料幀，但是，我們也可以使用邏輯運算子將多個布爾運算式組合在一起，
在Python中，有三個邏輯運算子：and、or和not，但是，這些關鍵字在Pandas中不可用于組合多個布爾條件，而是使用以下運算子，
下面的代碼展示了如何選擇薪水高于45000的員工，以及有一份永久合同，其中包含兩個布爾運算式和邏輯運算子&，
# 選擇工資高于45000并有長期合同的員工
df_employees[(df_employees['salary'] > 45000) & (df_employees['type_contract'] == 'permanent')]
如你所知，在Python中，比較運算子的優先級高于邏輯運算子，但是，它不適用于邏輯運算子優先于比較運算子的panda，因此，我們需要將每個布爾運算式包裝在括號中以避免錯誤，
使用Pandas方法的布爾選擇
Pandas提供了一系列回傳布林值序列的內置函式，它是結合比較運算子和邏輯運算子的更復雜布爾運算式的一個有吸引力的替代方案，
- isin方法
這個pandas.Series.isin方法接受一系列值，并在序列中與串列中的值匹配的位置回傳True，
此方法允許我們檢查列中是否存在一個或多個元素，而無需使用邏輯運算子或，下面的代碼顯示如何使用邏輯運算子or和isin方法選擇具有永久或臨時合同的員工，
# 使用邏輯運算子或選擇具有永久或臨時合同的員工
df_employees[(df_employees['type_contract'] == 'temporary') | (df_employees['type_contract'] == 'permanent')]
# 使用isin方法選擇有永久或臨時合同的員工
df_employees[df_employees['type_contract'].isin(['temporary', 'permanent'])]
如你所見，isin方法在檢查同一列中的多個或條件時非常方便，另外，它更快！
# 使用邏輯運算子|執行時間
%timeit df_employees[(df_employees['type_contract'] == 'temporary') | (df_employees['type_contract'] == 'permanent')]
# isin方法的執行時間
%timeit df_employees[df_employees['type_contract'].isin(['temporary', 'permanent'])]
between方法
這個熊貓系列方法接受兩個用逗號分隔的標量，它們表示一個值范圍的上下邊界，并在該范圍內的位置回傳True，
以下代碼選擇工資高于或等于30000且小于或等于80000的員工，
# 薪資高于或等于30000，低于或等于80000的員工
df_employees[df_employees['salary'].between(30000, 80000)]
如你所見，這兩個邊界(30000和80000)都包括在內，要排除它們，我們必須按以下方式傳遞inclusive=False引數，
# 薪資在3萬以上，8萬以下的員工
df_employees[df_employees['salary'].between(30000, 80000, inclusive=False)]
正如你可能注意到的，上面的代碼相當于撰寫兩個布爾運算式，并使用邏輯運算子and對它們求值，
# 薪資高于或等于30000，低于或等于80000的員工
df_employees[(df_employees['salary']>=30000) & (df_employees['salary']<=80000)]
- 字串方法
此外，我們還可以將布爾索引與字串方法一起使用，只要它們回傳布林值序列，
例如pandas.Series.str.contains方法檢查列的所有元素中是否存在子字串，并回傳一系列布林值，我們可以將這些布林值傳遞給索引運算子以篩選資料幀，
下面的代碼顯示如何選擇包含57的所有電話號碼，
# 選擇所有包含57的電話號碼
df_employees[df_employees['telephone'].str.contains('57')]
當contains方法計算子字串是否包含在序列的每個元素中，pandas.Series.str.startswith函式檢查字串開頭是否存在子字串，同樣地pandas.Series.str.endswith測驗字串末尾是否存在子字串，
以下代碼顯示如何選擇姓名以“A”開頭的員工，
# 選擇名字以“A”開頭的員工
df_employees[df_employees['name'].str.startswith('A')]
摘要
在本文中，我們學習從Dataframe中選擇子集，此外，我們還提供了多個使用示例，現在！現在是時候在清理你自己的資料時應用這些技術了！
原文鏈接：https://towardsdatascience.com/filtering-data-frames-in-pandas-b570b1f834b9
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/162339.html
標籤：其他
下一篇：Joint Computation and Communication Cooperation for Energy-Efficient Mobile Edge Computing 論文筆記