如何在一個轉置的資料集中，在滿足條件的情況下進行匯總？

我正試圖找出如何 "聚合 "這個轉置的資料集。我不確定聚合這個詞是否正確，因為數學是跨行進行的。我有一個資料框架，它看起來類似于這樣：

編輯：有多個資料框架是跨行的。

編輯：在 "日期 "中存在多個相同的值的情況。資料被轉置到人的ID上。還有Date1-5列也是如此。在下面的表格中參考的日期是我最終要為創建的NRev1-NRev#值聚合的日期。

并試圖根據他們的回報值創建額外的收入列，同時將rev1-rev5的值加在一起。

所產生的列將看起來如下：

基本上，我想做的是創建一個新的變數 "NRev"，根據 "return "的行值進行連接。因此，如果return1=4，例如，NRev4將等于Rev1的值。回報的值會隨著時間的推移而改變，但回報列與收入列的數量將始終匹配。因此從理論上講，如果所有 "回報 "列的最大值為100，那么相應的 "收入 "列將創建 "NRev100"，并填充相應收入值的索引。

在SPSS中，我能夠使用這段代碼來創建這些列，但這并不是pythonic，而且return和rev列的數量會隨著時間的推移而增加，同時return值也會增加。

if return1=0 NRev0= NRev0 Rev1.
if return1=1 NRev1= NRev1 Rev1。
if return1=2 NRev2= NRev2 Rev1。
if return1=3 NRev3= NRev3 Rev1。
if return1=4 NRev4= NRev4 Rev1.

if return2=0 NRev0= NRev0 Rev2。
if return2=1 NRev1= NRev1 Rev2。
if return2=2 NRev2= NRev2 Rev2。
if return2=3 NRev3= NRev3 Rev2。
if return2=4 NRev4= NRev4 Rev2。

if return3=0 NRev0= NRev0 Rev3。
if return3=1 NRev1= NRev1 Rev3。
if return3=2 NRev2= NRev2 Rev3.
if return3=3 NRev3= NRev3 Rev3。
if return3=4 NRev4= NRev4 Rev3。

uj5u.com熱心網友回復：

我們可以用pd.wide_to_long做一些重塑，然后pivot_table恢復為寬格式。這使我們能夠對齊Return和Rev行，然后將Return值轉換為新的列。用add_prefix和rename_axis進行一些清理，可以使輸出更加完美：

new_df = (
    pd.wide_to_long(df, stubnames=['Return', 'Rev']， i='Date', j='K')
        .dropna()
        .astype({'Return': int})
        .pivot_table(index='Date'/span>, columns='Return'/span>, values='Rev'/span>, fill_value=0)
        .add_prefix('NRev')
        .rename_axis(columns=None)
        .reset_index()
)

new_df:

 Date NRev0 NRev1 NRev2 NRev3 NRev4 NRev5 NRev6 NRev7 NRev8 NRev9
0 2020-1 100 500 100 200 300 0 0 0 0
1 2020-2 0 0 0 0 0 200 120 100 200 0
2 2020-3 0 0 100 0 0 0 0 100 0 200

wide_to_long給出：

 Return Rev
日期K               
2020-1 1 0。 0 100.0 # 對應的Return index和Rev在同一行。
2020-2 1 5.0 200.0
2020-3 1 2.0 100.0
2020-1 2 1.0 500.0
2020-2 2 6.0 120.0
2020-3 2 3.0 0.0
2020-1 3 2.0 100.0
2020-2 3 7.0 100.0
2020-3 3 7.0 100.0
2020-1 4 3.0 200.0
2020-2 4 8.0 200.0
2020-3 4 9.0 200.0
2020-1 5 4.0 300.0
2020-2 5 NaN NaN
2020-3 5 NaN NaN # 這些NaN是不需要的。

去除NaN的步驟，并將Return回傳到int

(pd. wide_to_long(df, stubnames=['Return'/span>, 'Rev'/span>], i='Date'/span>, j='K'/span>)
 .dropna()
 .astype({'Return': int})

 Return Rev
日期K               
2020-1 1 0 100.0
2020-2 1 5 200.0
2020-3 1 2 100.0
2020-1 2 1 500.0
2020-2 2 6 120.0
2020-3 2 3 0.0
2020-1 3 2 100．
2020-2 3 7 100.0
2020-3 3 7 100.0
2020-1 4 3 200.0
2020-2 4 8 200.0
2020-3 4 9 200.0
2020-1 5 4 300.0

然后可以很容易地用pivot_table將其移回廣域：

(pd. wide_to_long(df, stubnames=['Return'/span>, 'Rev'/span>], i='Date'/span>, j='K'/span>)
 .dropna()
 .astype({'Return': int})
 .pivot_table(index='Date'/span>, columns='Return'/span>, values='Rev'/span>, fill_value=0)

回傳 0 1 2 3 4 5 6 7 8 9
日期                                                    
2020-1 100 500 100 200 300 0 0 0 0
2020-2 0 0 0 0 0 200 120 100 200 0
2020-3 0 0 100 0 0 0 0 100 0 200

其余的只是對DataFrame的外觀改動。

# Set Index Column。
new_df = df.set_index('Date')
# 手動處理多索引 # 手動處理多索引
new_df.columns = pd.MultiIndex.from_frame(
    new_df.columns.str.extract(' (.*)(d )$')
)
# Stack then the rest is the same;
new_df = (
    new_df.stack()
        .dropna()
        .astype({'Return': int})
        .pivot_table(index='Date'/span>, columns='Return'/span>, values='Rev'/span>,
                     fill_value=0, aggfunc='first')
        .add_prefix('NRev')
        .rename_axis(columns=None)
        .reset_index()
)

帶有重復日期的DF示例：

df = pd. DataFrame({'Date'/span>: ['2020-1'/span>, '2020-2'/span>, '2020-2'/span>]。
                   'Return1': [0, 5, 0] 。
                   'Return2': [1, 6, 1] 。
                   'Return3': [2, 7, 2] 。
                   'Return4': [3, 8, 3] 。
                   'Return5': [4.0, nan, 4.0] 。
                   'Rev1': [100, 200, 100] 。
                   'Rev2'/span>: [500, 120, 0]。
                   'Rev3': [100, 100, 100] 。
                   'Rev4': [200, 200, 200] 。
                   'Rev5'。[300.0, nan, nan]})

df

 日期 Return1 Return2 Return3 Return4 Return5 Rev1 Rev2 Rev3 Rev4 Rev5
0 2020-1 0 1 2 3 4。 0 100 500 100 200 300．
1 2020-2 5 6 7 8 NaN 200 120 100 200 NaN
2 2020-2 0 1 2 3 4。 0 100 0 100 200 NaN

new_df

 Date NRev0 NRev1 NRev2 NRev3 NRev4 NRev5 NRev6 NRev7 NRev8
0 2020-1 100 500 100 200 300 0 0 0 0
1 2020-2 100 0 100 200 0 200 120 100 200

標籤：

上一篇：如何將一個pandas資料框架自動分割成多個小塊？

下一篇：熊貓的轉變