什么是Series

Series是一種帶有標簽的一維陣列，可以容納各種型別的資料（例如整數，浮點數和字串），每個Series物件都有一個索引，它可以用來參考每個元素，Series物件的主要特征是可以進行矢量化操作（即一次對整個序列進行操作），因此非常適合處理數值資料，

什么是DataFrame？

DataFrame是一個帶有標簽的二維資料結構，可以容納各種型別的資料（例如整數，浮點數和字串），每個DataFrame物件都由行和列組成，行表示一個實體，串列示屬性，您可以將DataFrame視為電子表格或SQL表，DataFrame的主要特征是可以進行矢量化操作，因此非常適合處理具有多種屬性的資料，此外，DataFrame還具有一些其他功能，例如靈活的資料對齊，分組和聚合，資料排序和合并等，

Pandas庫中的Index物件是什么？

Pandas庫中的Index物件是一種存盤軸標簽的不可變資料結構，它可以看做是Series和DataFrame的識別符號，它們用來標識單個條目或多個相同型別的資料，Index可以是整數、字串或自定義型別的物件，它們的主要功能包括：查找、切片、分組、聚合等，

Index物件的特點有以下幾個方面：

不可變性：一旦創建，Index物件的元素不能被修改，
唯一性：Index物件中的元素必須是唯一的，否則會引發例外，
有序性：Index物件的元素可以按照定義的順序排列，搜索和切片更高效，

Index物件可以通過多種方式創建，例如從一個串列、陣列、元組、字典、DataFrame等物件中創建，也可以手動創建，在DataFrame中，行和列都有自己的Index物件，而在Series中，只有一維的資料和一個Index物件，利用Index物件，可以很方便地對資料進行索引、排序和子集切片等操作，提高了資料處理的效率，

如何創建Series？

1.通過串列或陣列創建：可以通過pd.Series()方法將串列或陣列轉換成Series物件，例如：

import pandas as pd
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/[1, 2, 3, 4, 5]
s = pd.Series(data)
print(s)

# 輸出結果為：
# 0    1
# 1    2
# 2    3
# 3    4
# 4    5
# dtype: int64

2.通過字典創建：可以通過pd.Series()方法將字典轉換成Series物件，例如：

import pandas as pd
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
s = pd.Series(data)
print(s)

# 輸出結果為：
# a    1
# b    2
# c    3
# d    4
# e    5
# dtype: int64

如何創建DataFrame

1.通過串列或陣列創建：可以通過pd.DataFrame()方法將串列或陣列轉換成DataFrame物件，例如：

import pandas as pd
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'name': ['Tom', 'John', 'Mary', 'Lisa', 'Bob'], 'age': [28, 25, 23, 24, 27], 'score': [89, 78, 88, 95, 85]}
df = pd.DataFrame(data)
print(df)

# 輸出結果為：
#    name  age  score
# 0   Tom   28     89
# 1  John   25     78
# 2  Mary   23     88
# 3  Lisa   24     95
# 4   Bob   27     85

2.通過字典創建：可以通過pd.DataFrame()方法將字典轉換成DataFrame物件，例如：

import pandas as pd
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'name': ['Tom', 'John', 'Mary', 'Lisa', 'Bob'], 'age': [28, 25, 23, 24, 27], 'score': [89, 78, 88, 95, 85]}
df = pd.DataFrame(data, index=['one', 'two', 'three', 'four', 'five'])
print(df)

# 輸出結果為：
#        name  age  score
# one     Tom   28     89
# two    John   25     78
# three  Mary   23     88
# four   Lisa   24     95
# five    Bob   27     85

3.通過從檔案中讀取資料創建：可以通過pd.read_方法()將本地存盤的檔案匯入DataFrame物件，例如：

import pandas as pd
df = pd.read_csv('data.csv')
print(df)

# 輸出結果為：
#     name  age  score
# 0    Tom   28     89
# 1   John   25     78
# 2   Mary   23     88
# 3   Lisa   24     95
# 4    Bob   27     85

如何對DataFrame進行分組？

Pandas庫中的DataFrame可以按照一個或多個列的值對資料集進行分組，分組后的資料集可以進行多種操作，如計算平均值、總和等，

下面是對DataFrame進行分組的基本步驟：

匯入Pandas庫
創建DataFrame，例如，創建一個簡單的DataFrame，包含姓名、性別和年齡：
對DataFrame進行分組，可以按照一個或多個列的值對DataFrame進行分組
對分組后的資料集進行操作，可以對分組后的資料集進行各種計算，如計算平均值和總和，

import pandas as pd

# 創建DataFrame
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Ella', 'Frank'],
        'Gender': ['F', 'M', 'M', 'M', 'F', 'M'],
        'Age': [25, 34, 42, 19, 31, 28]}
df = pd.DataFrame(data)

# 對DataFrame進行分組
grouped = df.groupby(['Gender', 'Age'])

# 計算每個性別和年齡段的總和
print(grouped.sum())

如何對DataFrame進行聚合操作？

對于DataFrame進行聚合，可以使用groupby()方法將資料按照指定的列進行分組，然后再對分組后的資料進行統計、計算等操作，

具體步驟如下：

使用groupby()方法對資料進行分組，可以按照單列或多列進行分組
對分組后的資料進行統計、計算等操作，可以使用常見的聚合函式，比如sum()、mean()、max()、min()、count()等
對聚合后的資料進行重命名、排序等處理，最后得到需要的聚合結果

import pandas as pd

# 創建示例資料
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'category': ['A', 'A', 'B', 'B', 'B', 'C', 'C'],
        'value': [1, 2, 3, 4, 5, 6, 7]}
df = pd.DataFrame(data)

# 按照category列進行分組，計算value列的和、平均值和數量
result = df.groupby('category').agg({'value': ['sum', 'mean', 'count']})

# 對聚合結果進行重命名和排序
result.columns = ['total_value', 'mean_value', 'count']
result.sort_values('total_value', ascending=False, inplace=True)

print(result)

如何對DataFrame進行合并操作？

對DataFrame進行合并操作，可以使用merge()方法，將兩個DataFrame按照指定的列進行連接，類似于SQL中的Join操作，如果兩個DataFrame的列名相同，則可以使用on引數指定連接的列，如果列名不同，則需要使用left_on和right_on引數指定連接的列，

具體步驟如下：

使用merge()方法將兩個DataFrame按照指定列進行連接
可以選擇不同的連接方式，包括inner、outer、left、right等
對連接后的資料進行排序、去重、重命名等處理，最終得到需要的結果

import pandas as pd

# 創建示例資料1
data1 = {'id': [1, 2, 3, 4, 5],
        'name': ['Tom', 'Jerry', 'Lucy', 'Lily', 'Jim'],
        'age': [20, 22, 25, 23, 26]}
df1 = pd.DataFrame(data1)

# 創建示例資料2
data2 = {'id': [1, 2, 3, 6, 7],
        'salary': [2000, 2200, 2500, 2300, 2600],
        'gender': ['M', 'F', 'F', 'F', 'M']}
df2 = pd.DataFrame(data2)

# 按照id列進行左連接
result = pd.merge(df1, df2, on='id', how='left')

# 對連接后的資料進行去重、排序、重命名
result.drop_duplicates('id', inplace=True)
result.sort_values('id', inplace=True)
result.rename(columns={'name': 'user_name', 'salary': 'user_salary'}, inplace=True)

print(result)

如何對DataFrame進行重塑操作？

對DataFrame進行重塑操作，包括轉置、堆疊和反堆疊等，轉置是將DataFrame的行與列互換，堆疊是將多個列進行合并為一列，反堆疊則是將一列拆分為多個列，

具體步驟如下：

對DataFrame進行轉置，可以使用T屬性或transpose()方法實作，
對DataFrame進行堆疊操作，可以使用stack()方法實作，堆疊時需要指定堆疊的列或行，
對DataFrame進行反堆疊操作，可以使用unstack()方法實作，反堆疊時需要指定反堆疊的列或行，

import pandas as pd

# 創建示例資料
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'name': ['Tom', 'Jerry', 'Lucy'],
        'math': [90, 80, 70],
        'english': [85, 78, 95],
        'science': [88, 92, 85]}
df = pd.DataFrame(data)

# 轉置DataFrame
result1 = df.T

# 堆疊DataFrame
result2 = df.set_index('name').stack().reset_index()

# 反堆疊DataFrame
result3 = df.set_index('name').unstack().reset_index()

print(result1)
print(result2)
print(result3)

如何對DataFrame進行透視表操作？

對DataFrame進行透視表操作，可以使用pivot_table()方法進行，透視表可以根據行、列和值進行資料匯總和計算，并展示出匯總計算后的結果，

具體步驟如下：

使用pivot_table()方法對DataFrame進行透視操作，需要指定行、列和值引數，并選擇需要的聚合函式進行計算，
可以對透視表進行去重、排序和重命名等處理后，得到需要的結果，

import pandas as pd

# 創建示例資料
data = https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/{'name': ['Tom', 'Jerry', 'Lucy', 'Lily', 'Jim', 'Bob', 'Alice'],
        'gender': ['M', 'F', 'F', 'F', 'M', 'M', 'F'],
        'age': [20, 22, 25, 23, 26, 21, 30],
        'category': ['A', 'A', 'B', 'B', 'B', 'C', 'C'],
        'salary': [2000, 2200, 2500, 2300, 2600, 2800, 2900]}
df = pd.DataFrame(data)

# 對資料進行透視表操作，分別統計每種category、gender和age_range下salary的平均值和數量
result = pd.pivot_table(df, index=['category', 'gender'], columns=pd.cut(df['age'], [20, 25, 30]), values=['salary'],
                        aggfunc={'salary': ['mean', 'count']}, fill_value=https://www.cnblogs.com/yyyyfly1/archive/2023/06/11/0)

# 對透視表進行去重、排序、重命名等處理
result = result.stack(level=[0, 1])
result.columns = ['_'.join(col).strip() for col in result.columns.values]
result.reset_index(inplace=True)
result.sort_values(['category', 'gender', 'age'], inplace=True)

print(result)

如何處理重復值？

Pandas庫中提供了一些方法來處理重復值，包括檢測和洗掉重復值，

檢測重復值：

Pandas庫中提供了duplicated()方法用來檢測重復值，回傳一個布爾型別的Series，表示每一行是否為重復行，

drop_duplicates()方法則是用來洗掉重復行，回傳一個新的DataFrame，移除重復行之后的版本，

import pandas as pd


# 創建一個包含重復行的DataFrame

df = pd.DataFrame({'col1': [1, 2, 3, 4, 4, 5],
'col2': ['A', 'B', 'C', 'D', 'D', 'E']})
print(df)


# 檢測重復行

print(df.duplicated())


# 洗掉重復行

df_clean = df.drop_duplicates()
print(df_clean)

如何處理例外值？

import pandas as pd
import numpy as np


# 創建一個包含例外值的Series

s = pd.Series([1, 2, 3, 4, 5, 100])
print(s)


# 使用Z-score方法檢測例外值

zscore_threshold = 3 # 設定閾值為3
mean = s.mean()
std = s.std()
zscore = (s - mean) / std
print(zscore.abs() > zscore_threshold)


# 使用IQR方法檢測例外值

q1 = s.quantile(0.25)
q3 = s.quantile(0.75)
iqr = q3 - q1
iqr_threshold = 1.5 # 設定閾值為1.5
print((s < q1 - iqr_threshold * iqr) | (s > q3 + iqr_threshold * iqr))


# 使用fillna()方法替換例外值

s_clean = s.copy()
s_clean[s_clean > 10] = np.nan # 設定例外值，將大于10的值設定為缺失值
s_clean = s_clean.fillna(s_clean.median()) # 使用中位數來填充缺失值
print(s_clean)


# 使用replace()方法替換例外值

s_clean = s.replace(100, s.median()) # 將100替換為中位數
print(s_clean)

如何處理離群值？

Pandas庫中提供了一些方法來處理離群值（Outlier），包括檢測和替換離群值，

檢測離群值： Pandas庫中提供了一些方法來檢測離群值，比如基于資料的分布和規模，使用Z-score或IQR兩種方法進行離群值的檢測，并回傳一個布爾型別的Series，表示每一行是否為離群值，

Z-score方法將每個值轉換成其到平均值的標準偏差的距離，超過給定閾值的值被視為離群值，
IQR方法則是基于四分位數，將資料劃分成四個部分，其中50%的資料落在中間，將中間部分的極端資料看做離群值，

替換離群值：處理離群值時，我們可以使用fillna()方法或replace()方法來替換離群值，

fillna()方法可以使用mean、median、mode等方法替換缺失值，也可以使用給定的常數或者使用前一個或后一個非缺失值填充，
replace()方法可以使用常數或者使用給定的字典或函式替換特定的值，

import pandas as pd
import numpy as np


# 創建一個包含離群值的Series

s = pd.Series([1, 2, 3, 4, 5, 100])
print(s)


# 使用Z-score方法檢測離群值

zscore_threshold = 3 # 設定閾值為3
mean = s.mean()
std = s.std()
zscore = (s - mean) / std
print(zscore.abs() > zscore_threshold)


# 使用IQR方法檢測離群值

q1 = s.quantile(0.25)
q3 = s.quantile(0.75)
iqr = q3 - q1
iqr_threshold = 1.5 # 設定閾值為1.5
print((s < q1 - iqr_threshold * iqr) | (s > q3 + iqr_threshold * iqr))


# 使用fillna()方法替換離群值

s_clean = s.copy()
s_clean[s_clean > 10] = np.nan # 將大于10的值設定為缺失值
s_clean = s_clean.fillna(s_clean.median()) # 使用中位數來填充缺失值
print(s_clean)


# 使用replace()方法替換離群值

s_clean = s.clip(0, 10) # 將大于10的值和小于0的值都設定為10和0
print(s_clean)

如何進行資料型別轉換？

在Pandas庫中，我們需要對檔案讀入的資料進行處理和轉換后，才能在之后的分析中有效地使用，資料型別轉換是資料預處理中最基本的操作之一，資料型別的轉換能夠將原有資料的型別轉變為用戶需要的型別，包括將字串轉換為數字、將數字轉換為日期、將數值轉換為類別型別等，Pandas庫中提供了astype()方法來進行資料型別轉換，

astype()方法: Pandas庫中的astype()方法可以將一個或多個列的資料型別轉換為另一種型別，使用astype()方法，需要在括號中指定要轉換資料型別的列名和資料型別，轉換資料型別后將回傳一個新的DataFrame，原資料不發生改變，

import pandas as pd


# 創建一個包含數字和字串的DataFrame

df = pd.DataFrame({'col1': [1, 2, 3],
'col2': ['4', '5', '6']})
print(df.dtypes)


# 轉換資料型別

df['col2'] = df['col2'].astype(int)
print(df.dtypes)

在黑夜里夢想著光，心中覆寫悲傷，在悲傷里忍受孤獨，空守一絲溫暖，我的淚水是無底深海，對你的愛已無言，相信無盡的力量，那是真愛永在，我的信仰是無底深海，澎湃著心中火焰，燃燒無盡的力量，那是忠誠永在，

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/554891.html

標籤：其他

上一篇：C++ 指標

下一篇：返回列表

【技識訓累】Python中的Pandas庫【三】

什么是Series

什么是DataFrame？

Pandas庫中的Index物件是什么？

如何創建Series？

如何創建DataFrame

如何對DataFrame進行分組？

如何對DataFrame進行聚合操作？

如何對DataFrame進行合并操作？

如何對DataFrame進行重塑操作？

如何對DataFrame進行透視表操作？

如何處理重復值？

如何處理例外值？

如何處理離群值？

如何進行資料型別轉換？