python做一個爬蟲，篩選保存資料。
從資料庫mysql 取得串列資料,
list1
[{‘title’:'我是標題1'，‘url’:'我是網址1'}，{‘title’:'我是標題2'，‘url’:'我是網址2'}，‘title’:'我是標題3'，‘url’:'我是網址3'}]
最新采得的資料：
list2
[{‘title’:'我是最新1'，‘url’:'我是最新網址1'}，{‘title’:'我是最新2'，‘url’:'我是最新網址2'}，‘title’:'我是標題1'，‘url’:'我是網址1'}]
請問，怎樣洗掉list2中和list1相同的資料？，然后得到一個新的串列資料
list3
[{‘title’:'我是最新1'，‘url’:'我是最新網址1'}，{‘title’:'我是最新2'，‘url’:'我是最新網址2'}]
uj5u.com熱心網友回復：
直接一股腦插入資料庫感覺就可以。在資料庫里面吧title和url設定為聯合主鍵，每次插入的時候采用replace into tablename×××這種陳述句，它的意思是每次插入的時候找資料庫有沒有相同的資料，有則更新，無則插入uj5u.com熱心網友回復：
list1=[{'sf':'dfs'},{'sfs':'dfds'}]
list2=[{'sf':'dfs'},{'sf0s':'dfds'},{'key':'sfsd'}]
list3=[_2 for _2 in list2 if _2 not in list1]
print(list3)
[{'sf0s': 'dfds'}, {'key': 'sfsd'}]
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/203833.html
上一篇：邊緣計算網關-物聯網通信神器