我會盡量以我理解的方式解釋所有內容,如果我對某些內容感到困惑,請糾正我。
我試圖從網站上的成員串列中抓取用戶,我使用了 Python,我做的第一件事是使用所需的標頭向請求 URL 發出發布請求,因此我得到一個包含我需要的資料的回應,但是這個沒有用,所以我試圖找出原因。
根據我現在的理解,該網站使用 AJAX 進行 XHR 和 JavaScript 呼叫,這些呼叫回應內容(用戶)。
JS 代碼存盤在一個靜態網站上,來自 Chrome 的開發者工具請求發起者告訴我的(這里有一張圖片供參考),它以包含用戶的HTML回應
這個想法是創建一個腳本來運行這個在線存盤的靜態 JS 腳本,并從中獲取有關用戶的資料。(圖片說明)
我如何實作這一點,我正在使用 python。我需要什么圖書館等?非常感謝任何幫助/建議!
uj5u.com熱心網友回復:
根據您的問題,我認為您正在嘗試從使用 AJAX 加載資料的網站加載資料。
在我看來,看看 Scray 和一些 Headless Browers。
檢查流動鏈接以獲取更多資訊
- https://scrapy.org/
- https://github.com/puppeteer/puppeteer
- https://github.com/pyppeteer/pyppeteer
轉載請註明出處,本文鏈接:https://www.uj5u.com/qianduan/393651.html
標籤:javascript Python 网页抓取
