美麗湯。2個問題：find_all回傳空串列以及如何遍歷封閉容器

我首先想說的是，我瀏覽了很多關于 BeautifulSoup 回傳空串列的帖子，看來我的問題很特殊？

我正在嘗試提取在此網站上找到的供應商資訊：

url = "https://betonabq.org/les-membres/membres-producteurs-v2/"
response = get(url)
html_soup = BeautifulSoup(response.content, 'lxml')
html_soup2 = BeautifulSoup(response.text, 'lxml')  

beton_containers = html_soup.find_all ('div', class_='mobmenu-push-wrap')
beton_containers2 = html_soup2.find_a ('div', class_='mobmenu-push-wrap')

2 方法回傳空串列。我還嘗試了 html.parser 和 html5lib。

我遇到的第二個問題（也許換個帖子比較合適）是：我如何遍歷這個 Div 類中包含的資訊：

問題是每當我點擊左側串列中的供應商時，它都會附加相關的 Div 類部分并顯示相關資訊。

我不知道我是否足夠清楚，但非常感謝您的幫助！

uj5u.com熱心網友回復：

您得到的是空串列，因為所需的資料是通過JavaScriptfrom從外部源動態加載的，api calls json response并且beautifulsoup無法呈現 js。requests但是您可以僅使用模塊輕松地從 api 獲取您想要的所有資料。這是一個如何從 api 中提取資料的示例。

import requests

URL = "https://betonabq.org/wp-json/wpgmza/v1/features/base64eJyrVkrLzClJLVKyUqqOUcpNLIjPTIlRsopRMopR0gEJFGeUFni6FAPFomOBAsmlxSX5uW6ZqTkpELFapVoABXgWuw"
headers={
    'x-requested-with': 'XMLHttpRequest',
    'User-Agent':'mozila/5.0/'
    }
jsonData=requests.get(URL,headers=headers).json()
for item in jsonData['markers']:
    title= item['title'].replace('/ div.','')
    print(title)

輸出：

Almamix ltée (Groupe Riverin)
Béton 34 inc.
Béton Alliance inc.  Béton Provincial
Béton Amix
Béton Barrette inc.
Béton Bélanger inc.  Béton Provincial
Béton Bellemare inc.
Les Bétons Bellemare
Les Bétons Bellemare
Béton Beloeil (2012) inc.
Béton Brisebois inc.
Béton Brunet 2001 inc.
Béton Brunet 2001 inc.
Béton Brunet 2001 inc.
Béton Brunet 2001 inc.
Béton Brunet 2001 inc.
Béton Brunet 2001 inc.
Béton Brunet 2001 inc.
Béton Carrière ltée  Béton Provinvial
Béton Carrière ltée  Béton Provinvial
Béton Central  Béton Provincial
Béton Central  Béton Provincial
Béton Central  Béton Provincial
Béton Charlevoix inc.
Béton Chevalier inc.
Béton Chevalier inc.
Béton Chevalier inc.
Béton Chevalier inc.
Béton Chevalier inc.
Béton Comeau division de Béton Préfabriqué du Québec
Béton Cowansville (1989) inc.
Béton Crête inc. / Division Mauricie
Béton Crête division du Fleuve
Béton Crête inc.
Béton de l\'Amiante div. Béton Provincial
Béton Deux-Montagnes inc.
Béton Drummond inc.
Béton Fortin inc.
Béton Fortin inc.
Béton Fortin inc.
Béton G.L.M.R. (1993) inc.  Béton Provincial
Béton Généreux inc.
Béton Généreux inc.
Béton HI-TECH inc.  Béton Provincial
Béton Laurier inc.
Béton Malette inc. div. Béton Provincial
Béton Marik inc.
Béton Mercier  Ciment Québec
Béton Miroc  Ciment Québec
Béton Miroc inc.  Ciment Québec
Béton Miroc inc.  Ciment Québec
Béton Mistral ltée  Béton Provincial
Béton Mobile du Québec div. Lafarge Canada Inc.
Béton Mobile Royal inc.  Béton Chevalier
Béton Petite-Nation inc.
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial ltée
Béton Provincial Ltée. div. Granby Ltée.
Béton Provincial Ltée. usine de Trois-Pistoles
Béton Régional inc.  Béton Provincial
Béton Régional inc.  Béton Provincial
Béton Rive-Nord inc.  Béton Provincial
Béton Rive-Nord inc.  Béton Provincial
Béton Rive-Nord inc.  Béton Provincial
Béton Rive-sud Lévis div. Béton Provincial
Béton Royal 2000 - Sherbrooke
Béton Royal 2000 -Richmond
Béton Saint Joseph  de Sintra inc.
Béton Saint-éphrem inc.  Sintra inc.
Béton St-Georges  Sintra inc.
Béton St-Georges  Sintra inc.
Béton St-Marc div. Ciment Québec Inc.
Béton Suprême / Usine Foster  Carrières St-Dominique
Béton Vachon inc.
Bétonnière d\'Arvida / Groupe Riverin
Bétonnières d\'Arvida inc. (Groupe Riverin)
Bétonnières de La Baie (Groupe Riverin)
Bétonnières du Golfe inc. (Groupe Riverin)
Bétonnières du Golfe inc. (Groupe Riverin)
Bétonnières du Golfe inc. (Groupe Riverin)
Bétonnières du Golfe inc. (Groupe Riverin)
Bétonnières du Golfe inc. (Groupe Riverin)
Bétonnières Lac St-Jean inc. (Groupe Riverin)
Bétons du C?teau ltée
Bétons L. Barolet inc.
Bétons L. Barolet inc.
Lafarge usine de Longueuil
Bétons Mont-Carmel inc.
Bétons Trio inc.  Béton Provincial
Carrière Bernier ltée
Carrière d\'Acton Vale ltée
Carrière JFK
Carrières de St-Dominique ltée
Carrières de St-Dominique ltée
Carrières de St-Dominique ltée
Carrières de St-Dominique ltée
Carrières de St-Dominique ltée
Carrières St-Dominique ltée
Carrières St-Dominique ltée
Ciment Lacasse ltée  Béton Lacasse
Ciment Ro-No ltée
Ciment Ro-No ltée
Ciments Taschereau inc.
Danis Construction inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton  Groupe CRH Canada inc.
Demix Béton div. de Groupe CRH Canada inc.
Entreprises L.T. ltée
Entreprises L.T. Ltée.
Entreprises L.T. Ltée.
Entreprises L.T. Ltée.
Gabriel Aubé inc.
Gérard Perron & Fils inc.  Béton Provincial
Jos Nicoletti & Fils inc/Béton Louis Cyr inc.
L. Fournier & Fils inc.
L. Fournier & Fils inc.
L. Fournier & Fils inc.
L. Fournier & Fils inc.
La Cimenthèque div. Béton Provincial ltée.
Lafarge Canada inc.
Lafarge Canada inc.
Lafarge Canada inc.
Lafarge Canada inc.
Lafarge Canada inc.
Lafarge Canada inc.
Lafarge Canada inc.
Lafarge Canada inc.
Les Cl?tures Arboit inc.
Les Entreprises G Pouliot Ltée
Les Entreprises G. Pouliot ltée.
Les Entreprises G. Pouliot ltée.
Les Entreprises G. Pouliot ltée.
Baillargeon Matériaux inc.
Pierres et Béton St-Léonard ltée
Produits de Ciment Couillard ltée  Carrières St-Dominique
Rénova-Béton inc.
Sintra inc. div. Lamothe
Sintra inc. div. Lamothe
Meloche div. Sintra inc.
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Unibéton  Ciment Québec
Uniroc inc.
Béton 2000 inc.
Béton Provincial ltée.
Béton Provincial ltée.
Béton Tremblay div. Béton Provincial ltée.
Les Excavations Marchand & Fils inc.

uj5u.com熱心網友回復：

我在 devtools 的 devtools 網路中找到了這個url

你可以像這樣使用它：

import requests


user = requests.Session()
user.headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}

def main():
    url = 'https://betonabq.org/wp-json/wpgmza/v1/marker-listing/base64eJyrVirIKHDOSSwuVrJSCg9w941yjInxTSzKTi3yySwuycxLB3LzU1KL8pR0lIpLEotKlKwMdJRyUvPSSzKUrHQNdZRyEwviM1OA2o2UagE9Lxn8'

    response = user.get(url)
    json_data = response.json()
    data = json_data['data']
    # print(data)
    for item in data:
        print(item['description'])

if __name__ == '__main__':
    main()

輸出：輸出影像

畢竟你可以使用 bs4 來決議它

標籤：Python 网页抓取 美丽的汤 寻找

上一篇：Flutter|更新串列視圖

下一篇：僅在同一類下抓取網頁的一個元素