Python請求無法獲得在瀏覽器上打開的網站 -有解無憂

我一直試圖用請求模塊訪問這個網站https://www.dickssportinggoods.com/f/tents-accessories ，但它只是一直在處理，并沒有停止，而同一網站在瀏覽器上運行良好。Scrappy對同一網站給出了一個超時錯誤。在訪問這樣的網站時，是否有什么需要注意的地方。謝謝

。

uj5u.com熱心網友回復：

你是否嘗試過添加頭檔案？

。
import requests

headers = {'User-Agent': 'Mozilla/5.0'}。
response = requests.get('https://www.dickssportinggoods.com/f/tents-accessories', headers=headers)
response.raise_for_status()

print(response.text)

uj5u.com熱心網友回復：

對于像這樣的網站，你可以嘗試添加你的瀏覽器所做的額外頭資訊。按照這些步驟對我來說是有效的--

在隱身視窗中打開鏈接，打開網路標簽。

通過右擊復制第一個請求->復制->復制為curl

。

進入https://curl.trillworks.com/。粘貼curl命令以獲得等效的python請求代碼。

現在試著一個一個地移除頭檔案，直到它在最小的頭檔案下作業。

參考圖片 - https://i.stack.imgur.com/vRS98.png

編輯 -

span class="hljs-keyword">import requests

headers = {
    'authority': 'www.dickssportinggoods.com',
    'pragma': 'no-cache',
    'cache-control': 'no-cache',
    'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"'/span>,
    'sec-ch-ua-mobile': '?0',
    'Upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36' ,
    'accept': 'text/html,application/xhtml xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'/span>,
    'sec-fetch-site': 'none',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-user': '?1',
    'sec-fetch-dest': 'document',
    'accept-language': 'en-US,en;q=0.9',
}

response = requests.get('https://www.dickssportinggoods.com/f/tents-accessories', headers=headers)

print(response.text)

uj5u.com熱心網友回復：

因此，感謝@Marcel和@Sonal，但除了標題之外，當我把陳述句放在一個try/except塊中時，它只是作業。

headers = {
        'user-agent'/span>: 'Mozilla/5.0 (Windows NT 10.0)
                             Win64
                             x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'/span>
    }
    session = requests.Session()

    try:
        r = session.get(
            link, headers=headers, stream=True)

        return r
    except requests.exceptions.ConnectionError。
        r.status_code = "Connection refused"

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/320267.html

標籤：

上一篇：腳本在執行程序中某個地方被卡住了

下一篇：我正在通過api抓取韓國航班網站，但沒有得到所需的資料。