我有一個包含一百萬行的 .csv 檔案。每行對應兩個展平的 DataFrame，索引對應一個唯一的屬性。
例如在我的 .csv 檔案中，我的前兩行是這樣的：
| S1_1d_A | S1_2d_A | S1_3d_A | S1_1d_B | S1_2d_B | S1_3d_B | S1_1d_C | S1_2d_C | S1_3d_C | S2_1d_A | S2_2d_A | S2_3d_A | S2_1d_B | S2_2d_B | S2_3d_B | S2_1d_C | S2_2d_C | S2_3d_C | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1657 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 |
用于列名稱的約定如下：SX_R_C。
- X 對應索引的DataFrame型別（每個索引有兩個DataFrame）
- R : 原始 DataFrame 中的對應行
- C：原始DataFrame中對應的列
我想為每一行重新創建相應的資料幀。
因此，例如，對于索引 1657，我想獲得以下兩個 DataFrames ：
對于 S1 ：
| 一種 | 乙 | C | |
|---|---|---|---|
| 1天 | 1 | 4 | 7 |
| 2d | 2 | 5 | 8 |
| 3d | 3 | 6 | 9 |
對于 S2 ：
| 一種 | 乙 | C | |
|---|---|---|---|
| 1天 | 10 | 13 | 16 |
| 2d | 11 | 14 | 17 |
| 3d | 12 | 15 | 18 |
我可以用回圈很容易地做到這一點，但是 100 萬行的執行時間太長了。有沒有辦法在不回圈的情況下輕松完成？
NB1：我認為用于創建我的 .csv 檔案的方法類似于那個：將DataFrame 展平為單行
NB 2：我實際上有超過 3 行和 3 列。大約 10x10
感謝您的幫助！
uj5u.com熱心網友回復：
您可以將列索引修改為 MultiIndex，剩下的就是簡單的整形（這里使用stack）和分組來拆分資料幀：
df.columns = pd.MultiIndex.from_arrays(zip(*df.columns.map(lambda x: x.split('_'))))
dfs = {k:g for k,g in df.stack(level=[0,1]).droplevel(0).groupby(level=0)}
輸出：
>>> dfs
{'S1': A B C
1d 1 4 7
2d 2 5 8
3d 3 6 9,
'S2': A B C
1d 10 13 16
2d 11 14 17
3d 12 15 18}
>>> dfs['S1']
A B C
1d 1 4 7
2d 2 5 8
3d 3 6 9
uj5u.com熱心網友回復：
首先，通過拆分列標簽將列標題轉換為具有 3 個級別的 MultiIndex。
>>> df.columns = df.columns.map(lambda col: tuple(col.split("_")))
>>> df
S1 S2
1d 2d 3d 1d 2d 3d 1d 2d 3d 1d 2d 3d 1d 2d 3d 1d 2d 3d
A A A B B B C C C A A A B B B C C C
1657 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
然后使用將前兩列級別轉換為索引級別DataFrame.stack，并使用洗掉舊索引標簽DataFrame.droplevel
>>> df = df.stack(level=[0,1]).droplevel(0)
>>> df
A B C
S1 1d 1 4 7
2d 2 5 8
3d 3 6 9
S2 1d 10 13 16
2d 11 14 17
3d 12 15 18
最后，按第一個索引級別（S1 和 S2）對生成的 DataFrame 進行分組，并創建一個格式為 的字典{'S1': df_S1, 'S2': df_S2}。
>>> df_dict = {Si: group.droplevel(0) for Si, group in df.groupby(level=0)}
>>> df_dict['S1']
A B C
1d 1 4 7
2d 2 5 8
3d 3 6 9
>>> df_dict['S2']
A B C
1d 10 13 16
2d 11 14 17
3d 12 15 18
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/342900.html