我在爬取網站的時候使用的是代理IP,往往都是第一個代理能很順利的請求網頁并拿到資料,但是一旦換了一個代理ip就出現重定向或者出現10060、10061等錯誤,但是我把報錯的ip設定為瀏覽器代理去打開網站沒有任何問題,我試著尋找是否有ip認證的機制,但是我發現帶cookies和headers或者不帶cookies和headers都可以順利防問網頁,而且可以隨意那一個頁面鏈接去瀏覽器打開,但是在整個網站中,只有一個post請求和一個加密引數,其它的都是get明文傳參。綜上所述,我排除了網路和代理ip導致請求失敗的問題,同時也排除了cookies和headers檢查的問題,現在我完全找不到問題出在哪,有沒有哪位能幫我解答一下,萬分感激!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/257557.html
