我用的HttpClient
沒有登錄,沒設定cookie,沒設定Referer
就設定了UA,和代理IP,UA和高匿代理IP(西刺代理)都是隨機得到的,隨機等待時間是0-3s
程式有5個執行緒同時爬取
但是程式運行一段時間之后,大概爬了3000多條資料之后
就訪問不到頁面了,HttpClient的回傳就是空的了
過個五六個小時IP才解封
有人爬過豆瓣嗎,或者有什么爬取豆瓣的專案也可以推薦一下我,我自己去看
轉載請註明出處,本文鏈接:https://www.uj5u.com/qianduan/45502.html
標籤:其他
