pythonpandasunnest包含字典串列的資料列-有解無憂

我們有以下資料框：

import pandas as pd
our_df = pd.DataFrame(data = {'rank': {0: 1, 1: 2}, 'title_name': {0: "And It's Still Alright", 1: 'Black Madonna'}, 'title_id': {0: '120034150', 1: '106938609'}, 'artist_id': {0: '222521', 1: '200160'}, 'artist_name': {0: 'Nathaniel Rateliff', 1: 'Cage The Elephant'}, 'label': {0: 'CNCO', 1: 'RCA'}, 'metrics': {0: [{'name': 'Rank', 'value': 1}, {'name': 'Song', 'value': "And It's Still Alright"}, {'name': 'Artist', 'value': 'Nathaniel Rateliff'}, {'name': 'TP Spins', 'value': 933}, {'name': ' /- Chg. Spins', 'value': -32}, {'name': 'LP Spins', 'value': 965}, {'name': 'Stations', 'value': '44/46'}, {'name': 'Adds', 'value': 0}, {'name': 'TP Audience', 'value': 1260000}, {'name': ' /- Chg. Audience', 'value': -40600}, {'name': 'LP Audience', 'value': 1300600}, {'name': 'TP Stream', 'value': 413101}], 1: [{'name': 'Rank', 'value': 2}, {'name': 'Song', 'value': 'Black Madonna'}, {'name': 'Artist', 'value': 'Cage The Elephant'}, {'name': 'TP Spins', 'value': 814}, {'name': ' /- Chg. Spins', 'value': 38}, {'name': 'LP Spins', 'value': 776}, {'name': 'Stations', 'value': '38/46'}, {'name': 'Adds', 'value': 0}, {'name': 'TP Audience', 'value': 1283400}, {'name': ' /- Chg. Audience', 'value': -21600}, {'name': 'LP Audience', 'value': 1305000}, {'name': 'TP Stream', 'value': 362366}]}})

并且我們希望將該metrics列轉換為資料name框中的12 個新列，使用指標的欄位作為列名，將value欄位用作資料框中的欄位。像這樣的東西：

rank               title_name  title_id  artist_id          artist_name    label  Rank                      Song ...   
1    'And It's Still Alright' 120034150     222521 'Nathaniel Rateliff'   'CNCO'     1  "And It's Still Alright"

以下是metrics第 1 行的列中的值：

our_df['metrics'][0]
[{'name': 'Rank', 'value': 1},
 {'name': 'Song', 'value': "And It's Still Alright"},
 {'name': 'Artist', 'value': 'Nathaniel Rateliff'},
 {'name': 'TP Spins', 'value': 933},
 {'name': ' /- Chg. Spins', 'value': -32},
 {'name': 'LP Spins', 'value': 965},
 {'name': 'Stations', 'value': '44/46'},
 {'name': 'Adds', 'value': 0},
 {'name': 'TP Audience', 'value': 1260000},
 {'name': ' /- Chg. Audience', 'value': -40600},
 {'name': 'LP Audience', 'value': 1300600},
 {'name': 'TP Stream', 'value': 413101}]

該 /-列中的名稱可能是有問題的，雖然，與一起.在Chg.這個資料幀將是最好的，如果所有的列名是snake_case，如果 /-被替換plus_minus，如果.在Chg.被簡單地丟棄。

編輯：我們可以假設資料幀中??每一行的指標名稱都相同。但是，可能存在具有不同度量名稱的其他資料幀，因此如果名稱“Rank”、“Song”、“Artist”等不是硬編碼的，則更好。這是轉換為熊貓資料框之前的原始串列：

raw_data = [{'rank': 1,
  'title_name': 'BUTTER',
  'title_id': '',
  'artist_id': '',
  'artist_name': 'BTS',
  'label': '',
  'peak_position': 1,
  'last_week_rank': 7,
  'last_2week_rank': 8,
  'metrics': [{'name': 'Rank', 'value': 1},
   {'name': 'Song', 'value': 'BUTTER'},
   {'name': 'Artist', 'value': 'BTS'},
   {'name': 'Label Description', 'value': None},
   {'name': 'Label', 'value': '    '},
   {'name': 'Last Week Rank', 'value': 7},
   {'name': 'Last 2 Week Rank', 'value': 8},
   {'name': 'Weeks On Chart', 'value': 15}]},
 {'rank': 2,
  'title_name': 'STAY',
  'title_id': '',
  'artist_id': '',
  'artist_name': 'THE KID LAROI & JUS',
  'label': '',
  'peak_position': 1,
  'last_week_rank': 1,
  'last_2week_rank': 1,
  'metrics': [{'name': 'Rank', 'value': 2},
   {'name': 'Song', 'value': 'STAY'},
   {'name': 'Artist', 'value': 'THE KID LAROI & JUS'},
   {'name': 'Label Description', 'value': None},
   {'name': 'Label', 'value': '    '},
   {'name': 'Last Week Rank', 'value': 1},
   {'name': 'Last 2 Week Rank', 'value': 1},
   {'name': 'Weeks On Chart', 'value': 8}]}]

uj5u.com熱心網友回復：

最有可能的，最快的方法是raw_data作為字典處理，然后才用它構造一個 DataFrame。

records = []
for rec in raw_data:
    for metric in rec['metrics']:
        # process name: snake_case > drop '.' > ' /-' to 'plus_minus'
        name = metric['name'].lower().replace(' ','_').replace('.','').replace(' /-','plus_minus')
        rec[name] = metric['value']
    rec.pop('metrics')  # drop metric records
    records.append(rec)

df = pd.DataFrame(records)

輸出

結果 df

	秩	標題名稱	標題ID	藝術家_id	藝術家姓名	標簽	峰值位置	last_week_rank	last_2week_rank	歌曲	藝術家	標簽描述	last_2_week_rank	周_on_chart
0	1	牛油			防彈少年團		1	7	8	牛油	防彈少年團		8	15
1	2	停留			THE KID LAROI & JUS		1	1	1	停留	THE KID LAROI & JUS		1	8

設定

raw_data = [{'rank': 1,
  'title_name': 'BUTTER',
  'title_id': '',
  'artist_id': '',
  'artist_name': 'BTS',
  'label': '',
  'peak_position': 1,
  'last_week_rank': 7,
  'last_2week_rank': 8,
  'metrics': [{'name': 'Rank', 'value': 1},
   {'name': 'Song', 'value': 'BUTTER'},
   {'name': 'Artist', 'value': 'BTS'},
   {'name': 'Label Description', 'value': None},
   {'name': 'Label', 'value': '    '},
   {'name': 'Last Week Rank', 'value': 7},
   {'name': 'Last 2 Week Rank', 'value': 8},
   {'name': 'Weeks On Chart', 'value': 15}]},
 {'rank': 2,
  'title_name': 'STAY',
  'title_id': '',
  'artist_id': '',
  'artist_name': 'THE KID LAROI & JUS',
  'label': '',
  'peak_position': 1,
  'last_week_rank': 1,
  'last_2week_rank': 1,
  'metrics': [{'name': 'Rank', 'value': 2},
   {'name': 'Song', 'value': 'STAY'},
   {'name': 'Artist', 'value': 'THE KID LAROI & JUS'},
   {'name': 'Label Description', 'value': None},
   {'name': 'Label', 'value': '    '},
   {'name': 'Last Week Rank', 'value': 1},
   {'name': 'Last 2 Week Rank', 'value': 1},
   {'name': 'Weeks On Chart', 'value': 8}]}]

使用示例的資料作為raw_data，即

our_df = pd.DataFrame(data = {'rank': {0: 1, 1: 2}, 'title_name': {0: "And It's Still Alright", 1: 'Black Madonna'}, 'title_id': {0: '120034150', 1: '106938609'}, 'artist_id': {0: '222521', 1: '200160'}, 'artist_name': {0: 'Nathaniel Rateliff', 1: 'Cage The Elephant'}, 'label': {0: 'CNCO', 1: 'RCA'}, 'metrics': {0: [{'name': 'Rank', 'value': 1}, {'name': 'Song', 'value': "And It's Still Alright"}, {'name': 'Artist', 'value': 'Nathaniel Rateliff'}, {'name': 'TP Spins', 'value': 933}, {'name': ' /- Chg. Spins', 'value': -32}, {'name': 'LP Spins', 'value': 965}, {'name': 'Stations', 'value': '44/46'}, {'name': 'Adds', 'value': 0}, {'name': 'TP Audience', 'value': 1260000}, {'name': ' /- Chg. Audience', 'value': -40600}, {'name': 'LP Audience', 'value': 1300600}, {'name': 'TP Stream', 'value': 413101}], 1: [{'name': 'Rank', 'value': 2}, {'name': 'Song', 'value': 'Black Madonna'}, {'name': 'Artist', 'value': 'Cage The Elephant'}, {'name': 'TP Spins', 'value': 814}, {'name': ' /- Chg. Spins', 'value': 38}, {'name': 'LP Spins', 'value': 776}, {'name': 'Stations', 'value': '38/46'}, {'name': 'Adds', 'value': 0}, {'name': 'TP Audience', 'value': 1283400}, {'name': ' /- Chg. Audience', 'value': -21600}, {'name': 'LP Audience', 'value': 1305000}, {'name': 'TP Stream', 'value': 362366}]}})

raw_data = our_df.to_dict(orient='records')

輸出

df由上述解決方案產生

	秩	標題名稱	標題ID	藝術家_id	藝術家姓名	標簽	歌曲	藝術家	tp_spins	plus_minus_chg_spins	lp_spins	車站	添加	tp_audience	plus_minus_chg_audience	lp_audience	tp_stream
0	1	而且還好	120034150	222521	納撒尼爾·拉特利夫	國家石油公司	而且還好	納撒尼爾·拉特利夫	933	-32	965	44/46	0	1260000	-40600	1300600	413101
1	2	黑麥當娜	106938609	200160	把大象關起來	RCA	黑麥當娜	把大象關起來	814	38	776	38/46	0	1283400	-21600	1305000	362366

uj5u.com熱心網友回復：

讓我們開始分解您的問題。定義后，our_df我們可以基于列生成一個新的資料框metrics：

pd.concat([pd.DataFrame({x['name']:x['value'] for x in y},index=[0]) for y in our_df['metrics']]

哪些輸出：

   Rank                    Song  ... LP Audience  TP Stream
0     1  And It's Still Alright  ...     1300600     413101
0     2           Black Madonna  ...     1305000     362366

接下來只是將它們連接在一起pd.concat()或合并的問題。我假設公共鍵是列，Rank因此我將使用合并：

our_df.drop(columns=['metrics']).merge(pd.concat([pd.DataFrame({x['name']:x['value'] for x in y},index=[0]) for y in our_df['metrics']]),left_on='rank',right_on='Rank')

輸出完整的資料幀

    rank              title_name  ... LP Audience TP Stream
0     1  And It's Still Alright  ...     1300600    413101
1     2           Black Madonna  ...     1305000    362366

uj5u.com熱心網友回復：

可能對遺漏很有效的替代方案 names

metric_df = our_df.apply(
    lambda r:
        pd.Series(
            index=list(map(lambda d: d['name'], r['metrics'])) ['rank'],
            data=list(map(lambda d: d['value'], r['metrics'])) [r['rank']],
        ),
    axis=1,
)

our_df.merge(metric_df, on='rank')

uj5u.com熱心網友回復：

box = pd.concat({index  : pd.DataFrame(ent) 
                 for index, ent in 
                 zip( our_df.index, our_df.metrics)})

( our_df
  .drop(columns = 'metrics')
  .join(box.droplevel(-1))
  .pivot(['rank', 'title_name', 'title_id', 'artist_id', 'artist_name', 'label'], 
          'name', 
          'value')
  .reset_index()
)

name  rank              title_name   title_id artist_id         artist_name label  /- Chg. Audience  /- Chg. Spins Adds              Artist LP Audience LP Spins Rank                    Song Stations TP Audience TP Spins TP Stream
0        1  And It's Still Alright  120034150    222521  Nathaniel Rateliff  CNCO            -40600            -32    0  Nathaniel Rateliff     1300600      965    1  And It's Still Alright    44/46     1260000      933    413101
1        2           Black Madonna  106938609    200160   Cage The Elephant   RCA            -21600             38    0   Cage The Elephant     1305000      776    2           Black Madonna    38/46     1283400      814    362366

處理 raw_data：

from itertools import chain, product

metrics = [ent['metrics']  for ent in raw_data]
non_metrics = [{key : value 
                for key, value 
                in ent.items() 
                if key != 'metrics'} 
                for ent in raw_data]

combo = zip(metrics, non_metrics)
combo = (product(metrics, [non_metrics]) 
         for metrics, non_metrics in combo)
combo = chain.from_iterable(combo)
combo = [{**left, **right} for left, right in combo]

pd.DataFrame(combo)

                 name                value  rank title_name title_id artist_id          artist_name label  peak_position  last_week_rank  last_2week_rank
0                Rank                    1     1     BUTTER                                     BTS                    1               7                8
1                Song               BUTTER     1     BUTTER                                     BTS                    1               7                8
2              Artist                  BTS     1     BUTTER                                     BTS                    1               7                8
3   Label Description                 None     1     BUTTER                                     BTS                    1               7                8
4               Label                          1     BUTTER                                     BTS                    1               7                8
5      Last Week Rank                    7     1     BUTTER                                     BTS                    1               7                8
6    Last 2 Week Rank                    8     1     BUTTER                                     BTS                    1               7                8
7      Weeks On Chart                   15     1     BUTTER                                     BTS                    1               7                8
8                Rank                    2     2       STAY                     THE KID LAROI & JUS                    1               1                1
9                Song                 STAY     2       STAY                     THE KID LAROI & JUS                    1               1                1
10             Artist  THE KID LAROI & JUS     2       STAY                     THE KID LAROI & JUS                    1               1                1
11  Label Description                 None     2       STAY                     THE KID LAROI & JUS                    1               1                1
12              Label                          2       STAY                     THE KID LAROI & JUS                    1               1                1
13     Last Week Rank                    1     2       STAY                     THE KID LAROI & JUS                    1               1                1
14   Last 2 Week Rank                    1     2       STAY                     THE KID LAROI & JUS                    1               1                1
15     Weeks On Chart                    8     2       STAY                     THE KID LAROI & JUS                    1               1                1

然后你可以重塑/轉換成你想要的任何東西。

轉載請註明出處，本文鏈接：https://www.uj5u.com/net/360954.html

標籤：Python 熊猫数据框

上一篇：從兩個資料集創建一個集合，其中只有df1中不在df2中的值

下一篇：通過**kwargs和*args傳遞兩個df列以使用relativedelta創建新的日期列