?? 作者：韓信子@ShowMeAI
?? 資料分析?技能提升系列：https://www.showmeai.tech/tutorials/33
?? 資料分析實戰系列：https://www.showmeai.tech/tutorials/40
?? 本文地址：https://www.showmeai.tech/article-detail/294
?? 宣告：著作權所有，轉載請聯系平臺與作者并注明出處
?? 收藏ShowMeAI查看更多精彩內容
Excel是大家最常用的資料分析工具之一，借助它可以便捷地完成資料清理、統計計算、資料分析（資料透視圖）和圖表呈現等，
但是！大家有沒有用 Excel 處理過大一些的資料（比如幾十上百萬行的資料表），Excel 就會變得非常慢，甚至直接崩潰，
辛辛苦苦做一半的作業很有可能要重做！那就不只是 Excel 崩潰了，我們也得一邊崩潰一邊加班趕 deadline，
在本篇文中，ShowMeAI 將給大家介紹到 Python 中非常好用的互動式表格工具，它們的功能性和使用便捷度和 Excel 相當，同時有很好的記憶體優化，非常適合處理大檔案表格，
工具1：Mito
Mito 是 Python 中的電子表格，它同時擁有 Excel 電子表格的簡單易用性和 Python 的強大功能，我們可以像使用 Excel 一樣使用 Mito，并且在我們執行每個操作之后，Mito 將自動生成與每個操作對應的 Python 代碼，
- Mito 官方檔案
- Mito Github
- Mito 使用示例
使用 Mito 工具庫，我們首先需要安裝 Python 和 Jupyter Notebook 或 Jupyter Lab， 然后我們通過終端或命令列運行以下命令來安裝 Mito，
python -m pip install mitoinstaller
python -m mitoinstaller install
下面我們來演示一下，如何在 Mito 中完成我們在 Excel 中的操作，如讀取檔案、創建列、資料透視表、可視化等，
?? Mito：檔案讀取
Excel 默認對檔案行數有限制，在記憶體足夠時，Excel 可以打開數百萬行的檔案，但是只顯示前 1048576 行，感興趣的話可以測驗下這個資料~同樣在記憶體充足的情況下，Mito 打開檔案的大小沒有限制，來看具體操作！
讀入表格檔案
在讀取 CSV 檔案之前，先匯入工具庫，創建一個 Mito 電子表格物件，代碼如下：
import mitosheet
mitosheet.sheet()
接下來的讀取操作就可以用滑鼠完成了， 下圖的演示中，使用到的資料集是學校成績資料集，大家可以在ShowMeAI的百度網盤地址下載 ， 下載檔案后，單擊『+』或『匯入』按鈕進行閱讀，如下圖所示：
?? 實戰資料集下載（百度網盤）：公眾號『ShowMeAI研究中心』回復『實戰』，或者點擊 這里 獲取本文 [7] 使用 Mito 和 Bamboolib 進行超大量資料的處理(Python) 『Spreadsheets 資料集』
? ShowMeAI官方GitHub：https://github.com/ShowMeAI-Hub
自動生成代碼
除了匯入之外，還會自動生成下面的代碼，（這本是需要熟悉 Pandas 工具庫的同學通過編碼完成的，但現在我們簡單操作之后，就可以自動生成了！）
import pandas as pd
StudentsPerformance_csv = pd.read_csv(r'StudentsPerformance.csv')
?? Mito：基本表格操作
在 Excel 中，我們會創建一個『宏』來記錄一組可以隨時執行的操作，對應到 Mito中，我們可以做同樣的事情，借助于 Python 生態與各種開源庫，我們可以完成更多自動化的操作，比如處理完表格之后通過電子郵件發送報告，使用微信發送檔案，匯入資料到資料庫中等，
下面我們用 Mito 執行一些操作，就好像我們在使用 Excel 一樣，
創建新列&重命名列
如果要創建新列，只需單擊『添加列』按鈕，默認情況下，『Add Col』按鈕將創建一個名為『new-column』的列，我們將通過雙擊列名將其重命名為『average』，
自動代碼生成
這一步結束后，Mito 又生成了與我們在電子表格上執行的操作相對應的 Python 代碼！
# Added column new-column-uca5 to StudentsPerformance_csv
StudentsPerformance_csv.insert(8, 'new-column-uca5', 0)
# Renamed new-column-uca5 to average in StudentsPerformance_csv
StudentsPerformance_csv.rename(columns={'new-column-uca5': 'average'}, inplace=True)
?? Mito：統計分析
我們經常要對資料做統計分析，如果要對一行做統計計算，我們只需將公式寫在一個單元格中，
求平均統計
假設我們要計算數學、閱讀和寫作的平均分數， 我們只需要在『average』列的任何單元格中填入公式 (math score+reading score+writing score)/3，如下圖所示：
自動代碼生成
同樣 Mito 生成了pandas的統計代碼：
# Set new-column-uca5 in StudentsPerformance_csv to =(math score+reading score+writing score)/3
StudentsPerformance_csv['average'] = (StudentsPerformance_csv['math score']+StudentsPerformance_csv['reading score']+StudentsPerformance_csv['writing score'])/3
?? Mito：資料透視表
在Mito中創建資料透視表同樣非常簡單，單擊『資料透視』按鈕， 然后選擇行、列和值，
創建資料透視表
下圖演示了我們創建一個資料透視表，在『種族/民族』列中顯示 A、B、C、D 和 E 組的數學和閱讀分數的平均值，
自動生成代碼
同樣在Mito操作過后，我們生成了如下的 Python 代碼，
# Imported StudentsPerformance.csv
import pandas as pd
StudentsPerformance_csv = pd.read_csv(r'StudentsPerformance.csv')
# Pivoted StudentsPerformance_csv into df2
unused_columns = StudentsPerformance_csv.columns.difference(set(['race/ethnicity']).union(set([])).union(set({'math score', 'reading score'})))
tmp_df = StudentsPerformance_csv.drop(unused_columns, axis=1)
pivot_table = tmp_df.pivot_table(
index=['race/ethnicity'],
values=['math score', 'reading score'],
aggfunc={'math score': ['mean'], 'reading score': ['mean']}
)
pivot_table.columns = [flatten_column_header(col) for col in pivot_table.columns.values]
df2 = pivot_table.reset_index()
?? Mito：可視化&繪圖
使用 Mito 可以輕松創建餅圖和條形圖等基本圖例用于可視化， 我們只需要點擊『圖表』并選擇圖表型別，
條形圖示例
讓我們為之前創建的資料透視表創建一個條形圖，在 X 軸上顯示『種族/民族』，在 Y 軸上顯示『數學分數平均值』，
很炫酷有沒有！而且 a、b、c 和 d 中生成的代碼行相當于 Excel 宏， 每次我們運行代碼時，我們都會執行所有記錄下來的操作，
工具2：Bamboolib
當我們在Excel作業簿中進行記憶體密集型計算時，它非常容易卡頓感和崩潰，但這些計算在 Python 中是非常簡單可以完成的，我們可以結合另一個名為bamboolib 的 Python 庫完成一系列資料操作，
大家可以通過命令 pip install --upgrade bamboolib --user安裝 bamboolib，
- Bamboolib官方檔案
- Bamboolib Github
安裝完成之后，我們運行以下命令來讀取 CSV 或 Excel 檔案，
import bamboolib as bam
bam
?? Bamboolib：大檔案讀取
在這里，我們使用包含超過 100 萬行的 CSV 大檔案sales-data-1M來講解操作和計算實作，大家可以在ShowMeAI的百度網盤地址下載，
?? 實戰資料集下載（百度網盤）：公眾號『ShowMeAI研究中心』回復『實戰』，或者點擊 這里 獲取本文 [7] 使用 Mito 和 Bamboolib 進行超大量資料的處理(Python) 『Spreadsheets 資料集』
? ShowMeAI官方GitHub：https://github.com/ShowMeAI-Hub
和 Mito 工具庫一樣，Bamboolib 也為我們生成代碼如下
后續內容中我們只演示步驟，但會隱藏生成的代碼，大家可以實際操作來查看生成的代碼
import pandas as pd
df = pd.read_csv('./data/sales-data.csv', sep=',', decimal='.', nrows=100000)
df
?? Bamboolib：新建列&統計計算
如果我們要創建一個新列，我們可以在搜索欄上搜索『列命名』操作，然后鍵入列公式，下圖演示我們使用公式創建一個『價格』列 (revenue/quantity).
?? Bamboolib：資料透視表
下面我們在搜索欄中輸入『資料透視表』， 然后我們在資料行中按產品對資料進行分組，并使用『sum』作為聚合函式，整個操作如下圖所示：
?? Bamboolib：可視化&繪圖
接下來，我們創建一個餅圖， 我們點擊『Create Plot』按鈕，選擇圖形型別，然后選擇我們想要顯示的值，
?? Bamboolib：資訊/屬性抽取
下面我們從『日期』列中提取屬性，我們希望提取出月份，要完成這個操作，我們會將『日期』列的資料型別更改為 date（現在型別為 str)，然后再提取屬性，操作動圖演示如下：
參考資料
- ?? 實戰資料集下載（百度網盤）：公眾號『ShowMeAI研究中心』回復『實戰』，或者點擊 這里 獲取本文 [7] 使用 Mito 和 Bamboolib 進行超大量資料的處理(Python) 『Spreadsheets 資料集』
- ? ShowMeAI官方GitHub：https://github.com/ShowMeAI-Hub
- ?? Mito 官方檔案 https://docs.trymito.io/
- ?? Mito Github https://github.com/mito-ds/monorepo
- ?? Mito 使用示例 https://github.com/mito-ds/mito-demo
- ?? Bamboolib官方檔案 https://bamboolib.8080labs.com/
- ?? Bamboolib Github https://github.com/tkrabel/bamboolib
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/501356.html
標籤：其他
下一篇：第四講 SVN