最近在嘗試抓微博的資料,但發現用selenium、requests請求都會在一段時間后出現狀態碼為418的問題,自己也加了cookie池,是不是因為沒有換代理ip的問題?看了幾個git上star多的微博爬蟲專案好像都沒有提到有這個問題,而且網上也沒找到相關的解釋,現在暫時只能每次請求等待2-3秒,這速度一天太慢了..
uj5u.com熱心網友回復:
而且我等待3秒都不行,還出現418uj5u.com熱心網友回復:
握爪 我也遇到了 我去年就有爬微博資料 當時爬了挺多的沒出現過這個問題 現在需要爬些新的資料驗證 結果剛發現爬到的稍微快點就會出現418 而且網上也查不到 可能微博新加強了反爬?我再想想辦法 你解決了嗎uj5u.com熱心網友回復:
還沒有,暫時只能降低速度...
uj5u.com熱心網友回復:
大佬,請問你們解決了嗎?418的問題uj5u.com熱心網友回復:
大佬 解決了么.用代理也不行uj5u.com熱心網友回復:
我之前也是這個問題,今天加了headers,每次請求使用fake_useragent構造headers再加上cookie池,現在沒有問題了,沒出現418問題了。uj5u.com熱心網友回復:
一樣怎么解決....uj5u.com熱心網友回復:
隨機header+ip池就可以轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/121673.html
