我想獲取每個框包含的每個鏈接,頁面是 https://www.quattroruote.it/listino/audi
在這個網頁上有這個品牌生產的所有模型,每個模型都是一個鏈接到另一個頁面(我應該使用的頁面)的框。
我的問題是初始頁面第一次沒有加載所有框,您必須向下滾動并按下紅色按鈕“Carica altri modelli”(意思是“加載其他模型”)。有沒有辦法將我需要的所有鏈接自動存盤在一個變數中?例如第一個框的第一個鏈接是“/listino/audi/a1”
在此先感謝任何試圖幫助我的人!!
uj5u.com熱心網友回復:
不確定您想要什么鏈接,但您可以使請求遍歷itemStart引數。
import requests
from bs4 import BeautifulSoup
for i in range(1,100):
print('\t\tList start %s' %i)
url = 'https://www.quattroruote.it/listino/ricerca-more-desktop.html'
payload = {
'area': 'NEW',
'itemStart': '%s' %(i*8),
'_': '1634219611449'}
response = requests.get(url, params=payload)
soup = BeautifulSoup(response.text, 'html.parser')
links = soup.find_all('a', href=True)
for link in links:
print(link['href'])
轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/316224.html
