BeautifulSoupfind_all函式在main中不起作用

我正在嘗試在網站 conforama 上報廢，為此，我正在使用 BeautifulSoup。我正在嘗試檢索商品的價格、描述、價格、網址和評論數量，并在 3 頁上遞回執行此操作。

首先，我匯入所需的庫

import csv
from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

我定義了第一個函式：get_url，它將使用特定的 search_term 正確格式化 url，并回傳一個等待用正確頁碼格式化的 url

def get_url(search_term):
    template = 'https://www.conforama.fr/recherche-conforama/{}'
    
    search_term = search_term.replace(' ',' ')
    
    url = template.format(search_term)
    
    url = '?P1-PRODUCTS[page]={}'
    
    return url

我定義了第二個以洗掉一些使資料不可讀的內容

def format_number(number):
    new_number = ''
    for n in number:
        if n not in '0123456789€,.' : return new_number
        new_number =n

我定義了第三個函式，它將記錄并從中提取我需要的所有資訊：它的價格、描述、網址、評級和評論數量。

def extract_record(item):
    print(item)
    descriptions = item.find_all("a", {"class" : "bindEvent"})

    description = descriptions[1].text.strip()   ' '   descriptions[2].text.strip()

    #get url of product
    url = descriptions[2]['href']
    print(url)

    #number of reviews
    nor = descriptions[3].text.strip()
    nor = format_number(nor)

    #rating
    try:
        ratings = item.find_all("span", {"class" : "stars"})
        rating = ratings[0]['data']
    except AttributeError:
        return

    #price
    try:
        prices = item.find_all("div", {"class" : "price-product"})
        price = prices[0].text.strip()
    except AttributeError:
        return
    price = format_number(price)
    
    return (description, price, rating, nor, url)

最后，我在一個 main 函式中收集了所有函式，這將允許我遍歷我需要從中提取的所有頁面

def main(search_term):
    #product_name = search_term
    
    driver = webdriver.Chrome(ChromeDriverManager().install())
    records = []
    url = get_url(search_term)
    somme = 0
    for page in range (1,4):
       driver.get(url.format(page))
       soup = BeautifulSoup(driver.page_source, 'html.parser')
       print('longueur soup', len(soup))
       print(soup)
       results = soup.find_all('li', {'class' : 'ais-Hits-item box-product fragItem'})
       print(len(results))
       somme =len(results)
       for result in results:
           record = extract_record(result)
           if record:
               print(record)
               records.append(record)
    driver.close()
    print('somme',somme)

現在的問題是，當我一一運行所有命令時：

driver = webdriver.Chrome(ChromeDriverManager().install())
url = get_url('couch').format(1)
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'html.parser')
results = soup.find_all('li', {'class' : 'ais-Hits-item box-product fragItem'})
item = results[0]
extracted = extract_record(item)

一切都很好，extract_record 函式回傳的正是我需要的。但是，當我運行 main 函式時，這行代碼：

results = soup.find_all('li', {'class' : 'ais-Hits-item box-product fragItem'})

即使我知道當我在主函式之外執行它時也不會回傳任何結果

有沒有人有同樣的問題，你知道我做錯了什么以及如何解決它嗎？非常感謝您閱讀并嘗試回答

uj5u.com熱心網友回復：

發生什么了？

主要問題是元素需要一些時間來生成/顯示，并且在您獲取driver.page_source.

怎么修？

使用seleniums 等待，直到找到特定元素：

wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'li.ais-Hits-item.box-product.fragItem div.price-product')))
soup = BeautifulSoup(driver.page_source, 'html.parser')
results = soup.find_all('li', {'class' : 'ais-Hits-item box-product fragItem'})

例子

...
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

...

def main(search_term):
    #product_name = search_term
    
    driver = webdriver.Chrome(ChromeDriverManager().install())
    records = []
    url = get_url(search_term)
    somme = 0
    for page in range (1,4):
        driver.get(url.format(page))
        print(url.format(page))
        wait = WebDriverWait(driver, 10)
        wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'li.ais-Hits-item.box-product.fragItem div.price-product')))
        soup = BeautifulSoup(driver.page_source, 'html.parser')
        results = soup.find_all('li', {'class' : 'ais-Hits-item box-product fragItem'})
        somme =len(results)
        for result in results:
            record = extract_record(result)
            if record:
                print(record)
                records.append(record)
    driver.close()
    print('somme',somme)

main('matelas')

標籤：Python python-3.x 网页抓取 美丽的汤

上一篇：按每個方面內的值計數對seaborncatplot進行排序

下一篇：使用for回圈和字典