我正在嘗試獲取product title它description來自使用請求模塊的
從 python 和瀏覽器完成的請求是一回事。如果標頭、URL 和引數相同，它們應該收到相同的回應。所以下一步就是比較你的請求和瀏覽器完成的請求的區別：
因此，瀏覽器包含的一個或多個標頭從服務器獲得了良好的回應，但僅使用User-Agent是不夠的。
我會嘗試確定哪些標頭，但不幸的是，Nordstrom 檢測到一些“例外活動”并且似乎阻止了我的 IP :(
可能是由于發送了一個明顯的手工請求。我認為這是我的 IP 被阻止了，因為我無法訪問即使在清除我的快取之后，也可以從任何瀏覽器訪問網站。
因此，請仔細檢查您在使用刮刀時是否沒有發生同樣的情況。
祝你好運！
uj5u.com熱心網友回復：
嘗試browser_cookie3先使用安裝此庫pip3 install browser-cookie3，然后執行以下操作以實作您的目標。
import requests
import browser_cookie3
from bs4 import BeautifulSoup
link = 'https://www.nordstrom.com/s/anine-bing-womens-plaid-shirt/6638030'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36',
}
cookies = browser_cookie3.chrome(domain_name='www.nordstrom.com')
resp = requests.get(link,headers=headers,cookies=cookies)
soup = BeautifulSoup(resp.text,"lxml")
product_title = soup.select_one("h1[itemProp='name']").text
product_desc = soup.select_one("#product-page-selling-statement").text
print(product_title,product_desc)
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/492308.html
標籤：Python python-3.x 网页抓取 美丽的汤 蟒蛇请求