從dicts的defaultdict(list)中洗掉nan值

我通過運行一些分析創建了以下代碼，并將結果放入 defaultdict(list) 中。之后我將結果放入一個 csv 檔案中。首先，我想洗掉Check2中包含“nan”值的專案

我將如何洗掉字典串列中的值？

from numpy import nan 
from collections import defaultdict

d = defaultdict(list,
                     {'Address_1': [{'Name': 'name',
               'Address_match': 'address_match_1',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 8,
                 'Check2' : 1},
              {'Name': 'name',
               'Address_match': 'address_match_2',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 20,
                 'Check2' : nan},
              {'Name': 'name',
               'Address_match': 'address_match_3',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 27,
                 'Check2' : nan}],
              'Address_2': [{'Name': 'name',
               'Address_match': 'address_match_1',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 30,
                 'Check2' : 1},
              {'Name': 'name',
               'Address_match': 'address_match_2',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 38,
                 'Check2' : nan},
              {'Name': 'name',
               'Address_match': 'address_match_3',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 12,
                 'Check2' : nan}]})

之后我的結果應該是：

d = defaultdict(list,
                     {'Address_1': [{'Name': 'name',
               'Address_match': 'address_match_1',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 8,
                 'Check2' : 1}],
              'Address_2': [{'Name': 'name',
               'Address_match': 'address_match_1',
               'ID': 'id',
               'Type': 'abc',
                'Check1' : 30,
                 'Check2' : 1}
            ]})

uj5u.com熱心網友回復：

你可以這樣做：

import math
def remove_nan_att(d, att):
    return {key: [o for o in d[key] if not math.isnan(o[att])] for key in d}

d = remove_nan_att(d, 'Check2')

查看字典，對于每個鍵，查看其串列并按所需屬性過濾 nan 值。

如果nan來自 numpy：

from numpy import nan

def remove_nan_att(d, att):
    return {key: [o for o in d[key] if not o[att] is nan] for key in d}

d = remove_nan_att(d, 'Check2')

uj5u.com熱心網友回復：

嘗試：

df = pd.DataFrame.from_records(d).unstack()
d = df[df.str['Check2'].notna()].unstack(level=0).to_dict('list')
print(d)

# Output:
{'Address_1': [{'Name': 'name',
   'Address_match': 'address_match_1',
   'ID': 'id',
   'Type': 'abc',
   'Check1': 8,
   'Check2': 1}],
 'Address_2': [{'Name': 'name',
   'Address_match': 'address_match_1',
   'ID': 'id',
   'Type': 'abc',
   'Check1': 30,
   'Check2': 1}]}

更新

您可以簡單地使用雙重理解：

d = [{k: [v for v in l if pd.notna(v['Check2'])]} for k, l in d.items()]
print(d)

# Output:
[{'Address_1': [{'Name': 'name',
    'Address_match': 'address_match_1',
    'ID': 'id',
    'Type': 'abc',
    'Check1': 8,
    'Check2': 1}]},
 {'Address_2': [{'Name': 'name',
    'Address_match': 'address_match_1',
    'ID': 'id',
    'Type': 'abc',
    'Check1': 30,
    'Check2': 1}]}]

uj5u.com熱心網友回復：

您可以使用 dict comprehension filter（它過濾Check2不在np.nan每個串列中的字典d）：

out = {k: list(filter(lambda x: ~np.isnan(x['Check2']), lst)) for k, lst in d.items()}

您可以使用 dict comprehension list comprehension 做同樣的事情：

out = {k: [dct for dct in lst if not np.isnan(dct['Check2'])] for k, lst in d.items()}

輸出：

{'Address_1': [{'Name': 'name',
   'Address_match': 'address_match_1',
   'ID': 'id',
   'Type': 'abc',
   'Check1': 8,
   'Check2': 1}],
 'Address_2': [{'Name': 'name',
   'Address_match': 'address_match_1',
   'ID': 'id',
   'Type': 'abc',
   'Check1': 30,
   'Check2': 1}]}

標籤：Python 熊猫 数据框 字典 默认字典

上一篇：如何過濾資料框中的雙型別行

下一篇：隨著時間軸的增加，根據最高和最低行值過濾資料幀