前端操作小技巧
最近作業中在寫關于python爬蟲的腳本，今天的任務是寫一個要爬取CNVD網站資料的腳本，剛開始腳本寫的很順利，但是測驗的時候遇見了一個令人頭疼的事情，我發送請求的時候一直報 error_code 521 的錯誤，經過百度發現問題是CNVD網站有反爬蟲機制，具體解決方案，參考：https://www.shengbangshenghua.com/jiaoben/188366.html
下面我分享一下我的在除錯的時候使用到的前端小技巧吧，剛開始的時候我發現請求一直都是 error_code 521 ,我以為是我腳本寫的有問題，就去請教了一下度娘，發現是因為發送 http 請求的時候 cookie 的問題，按著百度的思路也嘗試了一下，發現還是行不通，于是我就想，既然腳本發送請求不可以，那我可不可以嘗試用一下 Postman ，然后我按著腳本里面的請求 headers 去 Postman ，嘗試了一下發現還是不行，于是我就想如果是 cookie 的問題，那我何不嘗試一下使用已經訪問成功的網站 的 cookie 嘗試一下，然后我按照原來的思路嘗試了一下重繪網頁，發現 CNVD 網站沒有請求，然后我就想是不是方式不對，然后我就開始研究 Chrome 的開發者工具，經過我的不懈努力加上請教別人，終于知道了一個前端小技巧，可能以后沒什么用，但是可以記錄一下
1.Chrome F12
操作步驟：
首先打開 Chrome F12開發者除錯工具，然后選擇NetWork，然后選擇All，我們就能看見發送的請求，然后右鍵我們能看到 Copy ，然后滑鼠放上去會出現一個選項，我們選擇 Copy as cUTL(bash) 這個選項，這個選項會將我們這個請求轉換成 CURL 命令的形式，
2. Postman
操作步驟：
首先進入Postman 界面，然后選擇 Import ，會彈出一個頁面，我們選擇 Raw test ，然后將我們在瀏覽器copy的 CURL 命令粘進去，點擊 Continue，然后選擇匯入即可，
然后我們點擊send就會看到我們想要的 請求頭了！！！！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/239054.html
標籤：python