Pandas 進階

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['STFangsong']
plt.rcParams['axes.unicode_minus'] = False

%config InlineBackend.figure_format = 'svg'

資料分析的一般流程

1. 提取資料（篩選）

   • 布爾索引
   • query()：相當于布爾索引
   • drop()：洗掉指定的行或列
   • rename()：重命名行或列索引
   • reset_index()：重置索引（將索引變成普通列）
   • set_index()：設定索引（將一個列或多個列指定為索引）
   • reindex()：調整行或列索引的順序（還可以做花式索引）

2. 整合和重塑

   • merge()：實作兩個DataFrame物件的內連接或外連接（適用于兩張表有關聯），
   • concat()：將兩個或多個DataFrame的資料拼接到一起（適用于多張表結構一致），

3. 資料清洗（缺失值、重復值、例外值）

   • 缺失值：

     • dropna()：洗掉空值
     • fillna()：填充空值 <— 均值、中位數、眾數
     • isnull() / notnull()：判斷空值

   • 重復值：

     • duplicated()：判斷是否重復
     • drop_duplicates()：洗掉重復值

   • 例外值：

     • 例外值 / 極端值 / 離群值
     • drop()：洗掉
     • replace()：替換

   • 預處理：

     • apply()：將函式作用到資料上，需要指定在哪個軸上執行
     • transform()：將（多個）函式作用到資料上
     • applymap()：對每個元素使用指定的函式進行映射，相當于Series上的map()方法 —> elementwise

   注意：這三個方法都是高階函式的用法，apply()方法接受的函式，可以是帶歸約性質的函式（聚合函式），也可以是沒有歸約性質的函式，transform()方法接受的函式不能是帶歸約功能的函式，只能是對資料做變換的函式，簡單的說就是函式的執行不會減少資料的量，

4. 資料透視（排序、分組、聚合）

   • 透視表：根據A統計B（根據A列對資料進行分組，再對B列上聚合函式）
   • groupby() —> sum() / mean() / max() / …
   • pivot_table() —> 專門生成透視表的函式
   • cut() —> 資料離散化（分箱）

5. 資料可視化（統計圖表）

6. 資料的洞察（發現問題給出建議）

Example 1

df = pd.read_csv('../files/data/bilibili.csv',encoding = 'GBK')
df

1907 rows × 6 columns

def handle_num(n):
    if n[-1] == '萬':
        return int(float(n[:-1]) * 10000)
    return int(n)

df['watchnum'] = df.watchnum.map(handle_num)
df['dm'] = df.dm.map(handle_num)
df

1907 rows × 6 columns

from datetime import datetime

# 將表中上傳時間(字串)轉換為時間型別
# pd.to_datetime(字串時間)
df['uptime'] = pd.to_datetime(df.uptime)
df.uptime   # dtype: datetime64[ns]

0      2021-01-21
1      2020-07-25
2      2019-05-11
3      2020-07-26
4      2020-02-24
          ...    
1902   2019-05-02
1903   2019-03-08
1904   2019-03-05
1905   2019-02-28
1906   2019-01-28
Name: uptime, Length: 1907, dtype: datetime64[ns]

df.uptime >= datetime(2021,1,1)   # 布爾資料系列

0        True
1       False
2       False
3       False
4       False
        ...  
1902    False
1903    False
1904    False
1905    False
1906    False
Name: uptime, Length: 1907, dtype: bool

[df.uptime >= datetime(2021,1,1)] # 布爾下標
temp = df[(df.uptime >= datetime(2021,1,1)) & (df.watchnum > 1000)]  #發布時間為2021年播放量大于1000的帖子
temp.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 92 entries, 0 to 1425
Data columns (total 6 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   title     92 non-null     object        
 1   url       92 non-null     object        
 2   watchnum  92 non-null     int64         
 3   dm        92 non-null     int64         
 4   uptime    92 non-null     datetime64[ns]
 5   upname    92 non-null     object        
dtypes: datetime64[ns](1), int64(2), object(3)
memory usage: 5.0+ KB

# 通過運算式篩選
# obj.query(篩選條件)
df.query('watchnum >= 1000 and uptime >="2021-1-1"').info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 92 entries, 0 to 1425
Data columns (total 6 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   title     92 non-null     object        
 1   url       92 non-null     object        
 2   watchnum  92 non-null     int64         
 3   dm        92 non-null     int64         
 4   uptime    92 non-null     datetime64[ns]
 5   upname    92 non-null     object        
dtypes: datetime64[ns](1), int64(2), object(3)
memory usage: 5.0+ KB

# 根據播放量排序
# obj.sort_values(by=[列1,列2...],ascending = True/False) 默認為True升序
temp.sort_values(by=['watchnum','dm'],ascending=False)

92 rows × 6 columns

temp1 = temp.drop(columns='upname')
temp1

92 rows × 5 columns

# 判斷是否存在重復值
# temp.duplicated('url')
# 去重
temp.drop_duplicates('url')

83 rows × 6 columns

def normalize_url(url):
    if not url.startswith('https'):
        return 'https:' + url
    return url
df['url'] = df['url'].apply(normalize_url)
df

1907 rows × 6 columns

Example 2

df1 = pd.read_csv('../files/data/lagou.csv',encoding = 'utf-8',index_col='no')
df1.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3140 entries, 0 to 3139
Data columns (total 51 columns):
 #   Column                 Non-Null Count  Dtype  
---  ------                 --------------  -----  
 0   _id                    3140 non-null   object 
 1   adWord                 3140 non-null   int64  
 2   appShow                3140 non-null   int64  
 3   approve                3140 non-null   int64  
 4   businessZones          1544 non-null   object 
 5   city                   3140 non-null   object 
 6   companyFullName        3140 non-null   object 
 7   companyId              3140 non-null   int64  
 8   companyLabelList       3140 non-null   object 
 9   companyLogo            3139 non-null   object 
 10  companyShortName       3140 non-null   object 
 11  companySize            3140 non-null   object 
 12  createTime             3140 non-null   object 
 13  deliver                3140 non-null   int64  
 14  district               3133 non-null   object 
 15  education              3140 non-null   object 
 16  explain                0 non-null      float64
 17  financeStage           3140 non-null   object 
 18  firstType              3140 non-null   object 
 19  formatCreateTime       3140 non-null   object 
 20  gradeDescription       0 non-null      float64
 21  hitags                 260 non-null    object 
 22  imState                3140 non-null   object 
 23  industryField          3140 non-null   object 
 24  industryLables         3140 non-null   object 
 25  isHotHire              3140 non-null   int64  
 26  isSchoolJob            3140 non-null   int64  
 27  jobNature              3140 non-null   object 
 28  lastLogin              3140 non-null   object 
 29  latitude               3133 non-null   float64
 30  linestaion             2403 non-null   object 
 31  longitude              3133 non-null   float64
 32  pcShow                 3140 non-null   int64  
 33  plus                   0 non-null      float64
 34  positionAdvantage      3140 non-null   object 
 35  positionId             3140 non-null   int64  
 36  positionLables         3140 non-null   object 
 37  positionName           3140 non-null   object 
 38  promotionScoreExplain  0 non-null      float64
 39  publisherId            3140 non-null   int64  
 40  resumeProcessDay       3140 non-null   int64  
 41  resumeProcessRate      3140 non-null   int64  
 42  salary                 3140 non-null   object 
 43  score                  3140 non-null   int64  
 44  secondType             3140 non-null   object 
 45  skillLables            3140 non-null   object 
 46  stationname            2403 non-null   object 
 47  subwayline             2403 non-null   object 
 48  thirdType              3140 non-null   object 
 49  workYear               3140 non-null   object 
 50  job_detail             1513 non-null   object 
dtypes: float64(6), int64(13), object(32)
memory usage: 1.2+ MB

pd.set_option('max_columns', None)
df1.head()

df1.dropna(axis = 1,inplace=True)
df1

3140 rows × 37 columns

df1.drop(columns = ['_id','adWord','appShow','approve','deliver'],inplace=True)
df1

3140 rows × 32 columns

# 找出熱招崗位
df1[df1.isHotHire == 1]

# 融資階段D輪及以上的招聘崗位
# 判斷某字串中是否含有某字符(模糊查詢)
df1[df1.financeStage.str.contains('D')]

235 rows × 32 columns

# 資料分析崗位
temp1 = df1[df1.positionName.str.contains('資料分析')]
temp1

1515 rows × 32 columns

df1['year'] = pd.to_datetime(df1['createTime']).dt.year
df1['month'] = pd.to_datetime(df1['createTime']).dt.month
df1['day'] = pd.to_datetime(df1['createTime']).dt.day
df1['weekday'] = pd.to_datetime(df1['createTime']).dt.weekday  # 0 - 星期一
df1

3140 rows × 36 columns

# 捕獲薪資欄位以獲取工資上下限
temp = df1.salary.str.extract(r'(\d+)[kK]?-(\d+)[kK]?')
# 將DataFrame中的str映射成int
temp = temp.applymap(int)
# 沿1軸計算均值
# axis = 1,表示對所有的列的每一行進行操作
df1['msal'] = temp.mean(axis = 1)
df1

3140 rows × 37 columns

# 排序和TopN
df1.sort_values(by = 'msal',ascending=False)

3140 rows × 37 columns

df1.nlargest(10,'msal')

ser = df1.groupby('city').msal.mean()
ser

city
上海    20.198630
北京    21.044444
南京    13.411157
廈門    12.139098
天津    10.400000
廣州    14.800562
成都    12.573333
杭州    20.122881
武漢    12.401111
深圳    19.473077
蘇州    13.826531
西安     9.340237
長沙     9.394737
Name: msal, dtype: float64

ser.plot(kind = 'bar')
plt.xticks(rotation = 0)  # 橫坐標旋轉度數
plt.show()

?

?

def my_mean(group):
    return np.round(np.mean(group),1)

# SAC --> Split - Aggragate - Combine
df1.groupby('city').msal.agg(['max','min',my_mean,np.ptp])

# 對多個列進行資料聚合不同的列使用不同的聚合方式
# 同一個列也可以作用多個聚合函式
df1.groupby('city')[['msal','companyId']].agg({
    'msal':my_mean,
    'companyId':['nunique','count']
})

透視表

什么是透視表：根據A統計B

# 生成透視表  DataFrame、A、B、聚合函式
pd.pivot_table(data=df1,   # DataFrame
               index = 'city',   # A 被透視物件 原表格資料項(groupby屬性)
               values = ['msal','companyId'],   # B 需要透視的資料
               aggfunc = {   # 聚合函式
                   'msal':my_mean,
                   'companyId':'nunique'
               })

df2 = pd.read_excel('../files/data/2020年銷售資料.xlsx')
df2

1945 rows × 9 columns

# 月度銷售額
pd.pivot_table(data = df2,
               index = '品牌',
               columns= ['銷售區域'],
               values = ['銷售額'],
               aggfunc =np.sum,
               margins=True,   # 添加總計列
               margins_name='總計')

# 品牌銷售占比
temp = pd.pivot_table(data = df2,
                     index = '品牌',
                     values = '銷售額',
                     aggfunc = 'sum',
                     margins=True,
                     margins_name='總計')
temp

# 品牌銷售占比
temp.plot(kind = 'pie',autopct = '%.2f%%',subplots=True)
plt.show

<function matplotlib.pyplot.show(close=None, block=None)>

?

?

# 各地區銷售額
pd.pivot_table(data = df2,
              index = '銷售區域',
              values = ['銷售額'],
              columns = '品牌',
              aggfunc = 'sum',
              margins=True,
              margins_name='總計')

# 各渠道品牌銷量
pd.pivot_table(data = df2,
              index = ['銷售渠道'],
              columns = ['品牌'],
              values =['銷售數量'],
              aggfunc = 'sum',
              margins = True,
              margins_name = '總計')

# 不同售價區間的閱讀銷量占比
# 分箱，將連續的資料放到離散的箱子中基于分箱的結果在進行分組
print('MAX:',df2['售價'].max())
print('MIN:',df2['售價'].min())
box = pd.cut(df2['售價'],bins = [50,300,550,800,1050,1300,1550])
temp2 = df2.groupby(box)['售價'].count()
temp2

MAX: 1499
MIN: 59





售價
(50, 300]       917
(300, 550]      745
(550, 800]      171
(800, 1050]      74
(1050, 1300]     32
(1300, 1550]      6
Name: 售價, dtype: int64

temp2.plot(kind = 'pie',autopct = '%.2f%%')
plt.show

<function matplotlib.pyplot.show(close=None, block=None)>

?

?