嗨，我有一個資料框df，其標題如下：
DATE COL1 COL2 ... COL10
date1 a b
... ... ... ...
and so on
基本上每一行只是一個日期，然后是同一行上的一堆列，其中有一些文本，或者沒有。
從這里我想創建一個新的 df df2，其中包含原始資料框中的每個非空白“單元格”，其中包含該單元格中的日期和文本。從上面的例子我們可以得到
df2=
DATE COL
date1 a
date1 b
在偽代碼中，我想要實作的是：
df2 = blank df
for row in df:
for column in row:
if cell is not empty:
append to df2 a row consisting of the date for that row and the value in that cell
到目前為止我有
import pandas as pd
df = pd.read_csv("data2.csv")
output_df = pd.DataFrame(columns=['Date', 'Col'])
基本上我已經閱讀了 df，并創建了新的 df 以開始填充。
現在我被卡住了，一些調查告訴我我不應該使用iterrows()它，因為它效率不高而且是不好的做法，而且我在 df 中有 300k 行。
請問有什么建議嗎？
uj5u.com熱心網友回復：
使用df.melt：
data = [{'date': f'date{j}', **{f"col{i}": val for i, val in enumerate('abc')}} for j in range(5)]
df = pd.DataFrame(data)
date col0 col1 col2
0 date0 a b c
1 date1 a b c
2 date2 a b c
3 date3 a b c
4 date4 a b c
df2 = df.melt(
id_vars=['date'],
value_vars=df.filter(like='col').columns,
value_name='Col'
)[['date', 'Col']]
# to get the ordering the way you want
df2 = df2.sort_values(by='date').reset_index(drop=True)
date Col
0 date0 a
1 date0 b
2 date0 c
3 date1 a
4 date1 b
5 date1 c
6 date2 a
7 date2 b
8 date2 c
9 date3 a
10 date3 b
11 date3 c
12 date4 a
13 date4 b
14 date4 c
然后，您可以從以下過濾掉任何空值Col：
df2 = df2[df2['Col'].apply(bool)]
uj5u.com熱心網友回復：
您需要將空白單元格變為 NA。
IE
df[df == ''] = np.nan
df.metl('DATE').dropna()
uj5u.com熱心網友回復：
您可以將多個列加入一個串列
s = df.filter(like='COL').apply(lambda row: row[row.notna()].tolist(), axis=1)
然后explode在那個名單上
df_ = pd.DataFrame({'DATE':df['DATE'], 'COL': s})
df_ = df_.explode('COL')
print(df_)
DATE COL
0 date1 a
0 date1 b
1 date2 c
1 date2 d
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/464377.html