在瀏覽器中輸入 https://maoyan.com/board 時，會出現美團驗證，如下圖：
驗證成功后，便可成功爬取 https://maoyan.com/board這個頁面了。但過了十幾分鐘后，就爬不了，只能爬取到驗證頁面的代碼，部分代碼如下圖：
但瀏覽器登錄https://maoyan.com/board沒有問題，也沒有驗證頁面出現，但就能是爬取不了，只能爬取到驗證頁面的代碼。
只有重啟電腦之后，以上的驗證頁面才會再次出現，但也只能正常爬取十幾分鐘，之后爬取的又是驗證頁面的代碼了。
求教大神，怎么破呀?
def get_pages(url):
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0"}
response = requests.get(url,headers=headers)
if response.status_code == 200:
return response.text
url="https://maoyan.com/board/4"
html=get_pages(url)
print(html)
uj5u.com熱心網友回復：
抓的速度高嗎，高的話降下速。uj5u.com熱心網友回復：
這時驗證可以破，最簡單的就是用你的賬號登錄貓眼網頁端，然后復制瀏覽器里的cookie到你的程式代碼的請求頭header。這樣大概就實作了用你自己的賬號會話爬取資料了。你可以試試！uj5u.com熱心網友回復：
那是個騙人的https://maoyan.com/board/4?offset=
訪問這個鏈接之后 手動劃掉就行。拿不到資料是你cookie不對，自己拿個電影名匹配你拿到的資料有的話說明請求成功了。沒有的話說明拿到的不是那個頁面的資料，重新換下頭和cookie
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/92327.html
上一篇：LABVIEW
下一篇：python復制word中的表格