嘗試從網站中提取多個資料

我試圖從這些頁面中抓取 50K 資料 你能幫我如何抓取資料 我從這些頁面鏈接中只獲得 19 個產品資料https://www.dastelefonbuch.de/Suche/Zahnarzt

from selenium.webdriver.common.by import By
from selenium import webdriver
import pandas as pd
p=[]
u=[]
v=[]
q=[]
w=[]
PATH="C:\Program Files (x86)\chromedriver.exe"
url='https://www.dastelefonbuch.de/Suche/Zahnarzt'
driver =webdriver.Chrome(PATH)
driver.get(url)
vid = driver.find_elements(By.XPATH, "//div[@class='vcard']")
for item in vid:
    title=item.find_element_by_xpath(".//div[@class='name']").text
    p.append(title)
    phone=item.find_element_by_xpath("//span[@class='nr']").text
    u.append(phone)
    try:
       website=item.find_element_by_xpath(".//div[@class='url']/a").get_attribute('href')
    except:
       website=''
    v.append(website)
    state=item.find_element_by_xpath(".//div[@class='category']").text
    q.append(state)
    address=item.find_element_by_xpath(".//a[@class='addr']").text
    w.append(address)

df = pd.DataFrame(
    
    {"title": p, "phone": u,"website":v,"state":q,"address":w}
)
print(df)

uj5u.com熱心網友回復：

我看到頁面上有一個您沒有處理的接受 cookie 按鈕。

代碼：

driver = webdriver.Chrome(driver_path)
driver.maximize_window()
#driver.implicitly_wait(30)
wait = WebDriverWait(driver, 30)



p=[]
u=[]
v=[]
q=[]
w=[]

url='https://www.dastelefonbuch.de/Suche/Zahnarzt'

driver.get(url)

try:
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "span#cmpbntyestxt"))).click()
except:
    pass

j = 1
while(True):
  ele = wait.until(EC.visibility_of_element_located((By.XPATH, f"(//div[@data-entry-id and @data-entry-data])[{j}]")))
  driver.execute_script("arguments[0].scrollIntoView(true);", ele)
  title = ele.find_element(By.XPATH, ".//descendant::a[@class=' name']/span").get_attribute('innerText')
  print(title)
  if j == 20 :
    try:
        driver.execute_script("var scrollingElement = (document.scrollingElement || document.body);scrollingElement.scrollTop = scrollingElement.scrollHeight;")
        wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.loadbutton button"))).click()
    except:
      pass
  j = j  1
  driver.execute_script("var scrollingElement = (document.scrollingElement || document.body);scrollingElement.scrollTop = scrollingElement.scrollHeight;")

進口：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

輸出：

?sthetik Zahnarzt Hamburg City Z-24 M? 17 / Dr. P. Michaelis, Dr. C. Khorram
Albert Georg Dr. MSc Zahnarzt
Argus Matthias Zahnarztpraxis
Balogh Andreas
Bender Christian Dr.
Bernhardt Kirsten Zahn?rztin
Bernuth Stefan Dr.
Bieniek Kristian Dr. Dr.
Blase Rolf Dr. MSc., MSc. Zahn?rzte Master of Science für Implantologie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Boettel Matthias Dr. med. dent. Zahnarzt für Oralchirurgie
Bossong Reimund Zahnarzt
Breuer Bernd Dr. Dr. Arzt für Mundchirurgie Kieferchirurgie und Gesichtschirurgie Zahnarzt
Breuer Bernd Dr. Dr. Arzt für Mundchirurgie Kieferchirurgie und Gesichtschirurgie Zahnarzt
Broska Peter Zahnarztpraxis
Budai Carola Dr.med.dent. & Budai Hans-Frieder Dr.med.dent.
Dallwitz Ines Dipl.-Stomat.
Die Zahn?rzte Steinpleis MVZ GmbH
D?pfner Daniel Dr. und Wendler Nina Dr.
D?pfner Daniel Dr. und Wendler Nina Dr.
D?rfler Thomas
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dr. Christoph Hommel Zahnarzt
Dr. Kauer Martin Zahnarzt
Dr. Klotz & Partner
Dr. med. dent. B. Khawaja
Dr.med.dent. Mathias Pl?ger Zahnarzt
Dr. Polster Kerstin, Doctor of Dental Medicine (Tufts Univ.)
Eicher, Bertram MSc - Praxis für Zahnheilkunde
Ernst Oliver Dr.med.dent.
Exner Andreas und Vavelidis Ioannis Dres.med.dent.
Frey Kathrin Dr. med. dent.
Gemeinschaftspraxis Zahn?rzte Implantologie Dr. Wolfgang Str?hmer Maren Str?hmer-Beike
Griesenbrock Nadine Verena Dr.med.dent. Praxis für Zahn-, Mund- & Kieferheilkunde
Halfter Udo Dr. und Halfter Bettina Zahnarztpraxis
Halfter Udo Dr. und Halfter Bettina Zahnarztpraxis
Hannig Gabriel, Zahnarzt
Herkert Achim Dr.med.dent.
Hiedl Thomas Dr.
Hofmann Steffen Dr.med.dent.
Hondralis Georgios Dr.
Jochum Sebastian Dr. Zahnarzt
Kitzsteiner Edith Dr.
Kleye Dr.
Klink Maliha und Klink Benjamin Dr.med.dent.
Knollmüller Eugen Dr.
Komorowsky Raul
Lindenberg Sylke Dr. med. dent.
L?ffler Thomas Dr., Praxis für Zahnheilkunde & Implantologie
Lohmann Arndt u. Nadine Dr.med.dent. Zahnarztpraxis
Luck Thomas Dr. Zahnarzt
M?rker Julian Dr.med.dent.
Merk und Partner Zahn?rzte
Merk und Partner Zahn?rzte
Merk und Partner Zahn?rzte
Merk und Partner Zahn?rzte
Merk und Partner Zahn?rzte
Merk und Partner Zahn?rzte
Müller Uta u. Anne Fachpraxis für Kieferorthop?die
Müller Uta u. Anne Fachpraxis für Kieferorthop?die
Müller Uta u. Anne Fachpraxis für Kieferorthop?die
Münich Christian
Neubauer Jürgen Dr.
Pl?ger Mathias Dr. Zahnarzt
Praxis für moderne Zahnheilkunde Pradel, Ro?ner, Sernau, Nagel, Kühnle, Zahn?rzte
Praxis Rage & Holm
Praxis Rage & Holm
Pr?l? Dr. Wolfgang
Rathe, Christian
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Reif Gerhard Zahnarzt
Rienhoff Sabine und Jan Dres., Engel-Faschkami Maren, Kinderzahnarztpraxis
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahn?rzte
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahn?rzte
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Rüger Daniel Dr. Fachzahnarzt für Kieferorthop?die
Runge Ralf Zahnarzt
S?nger Michael Dr.
Salomon Hagen
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Scherer Udo Dr. med. Dr. med. dent. Mund- Kiefer- und Gesichtschirurg
Schmalhofer J. Dr.
Schüller Martin Zahnarzt
Schumann Christian Dr.
Spaett Georg Dr. u. Nagel Philipp Zahn?rzte
Udich Hans-Joachim Dr. u. Fünfstück-Diez Christiane
Vorkauf Wolf Dr. med. dent Zahnarzt
Vorkauf Wolf Dr. Zahnarzt
W?chter Rüdiger Dr.med.Dr.med.dent. M.Sc.
Wahler Werner Dr.
Weindler Tilman Dr. med. dent.
Werling Gerlinde Zahn?rztin
Werling Gerlinde Zahn?rztin
Weyen Gerko Dr.med.dent.
Wind Daniela Dr. med. dent. Zahn?rztin
Wind Daniela Dr. med. dent. Zahn?rztin
Wind Daniela Dr. med. dent. Zahn?rztin
Wissing Elke Dr. Zahn?rztin
Wissing Elke Dr. Zahn?rztin
Wissing Elke Dr. Zahn?rztin
Zahn?rzte Lehmann Kirsten MSc u. Niklas MOM MSc
Zahn?rztliche Gemeinschaftspraxis Braun Gebhardt
Zahn?rztliche Gemeinschaftspraxis Dres. Dirlewanger & Kollegen
Zahn?rztliche Gemeinschaftspraxis Dres. Dirlewanger & Kollegen
Zahn?rztliche Gemeinschaftspraxis Dres. Dirlewanger & Kollegen
Zahnarztpraxis Dr. David Marxkors u. Z? Karin Marxkors
Zahnarztpraxis Dres. Hermanns & Kollegen
Zahnarztpraxis Semlinger
Zahnarztpraxis Semlinger
Zahnarztpraxis Semlinger
Zahnarztpraxis Semlinger
Zahnmedizin im Zentrum Zahnarztpraxis
ZAHNZENTRUM-NORD Lukas zum Broock MSC und Kollegen - Spezialisten u. Fach?rzte für Implantologie und schonende moderne Zahnmedizin
Amberger Gerhard Dr. med. dent.
Bauer Wolfgang Dr.med.dent.
Beer Christoph Dr. med. dent.
Behm Michael Dr. med. dent. Fachzahnarzt für Oralchirurgie
Braun Michael Dr.med.dent.
Brenner Cornelius Dr. M.A.
Carthaus Robert Dr. Zahnarzt
Distler J?rg Dr.med.dent.
D?ppert Frank Oliver Zahnarzt & Zahntechniker
Dornoff Michael Zahnarzt
Dornoff Michael Zahnarzt
Dr. Klaus Spranz M.A. und Dr. Christoph Schaefer Zahnarztpraxis
Dr. Peter Wellenberg und Klaus Bennemann
Dr. Wegener Zahn?rzte
Dybvik-Nielsen Kim Zahnarzt Praxis
Flach Marcus Dr. med. dent. Zahn?rztliche Privatpraxis
Freter J?rg Dr. Zahnarztpaxis
Glassl Thomas Dr.
Heger Sebastian Dr. Zahnarztpraxis
Herdt Florian
H?llein Andreas Dr., G?ttler Stefan Dr.
Hofmann Katharina
Horn-Reetz Susanne Dr.
Hussein Amr Dr.med.dent. Zahnarzt
Kieferorthop?die am Park Dr. Nolting
Knapp M. Dr. med.dent., Ofenhitzer K. Dr. med.dent. Zahn?rzte
Mauder Johannes Dr.
Metke W. Dr. u. Lange L. Dr. Zahnarztpraxis
Meyer Stefan Dr.med.dent.
Pelster Christian
Peppmeier Dr.Dr.med. Zahn?rztliche Gemeinschaftspraxis
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahn?rzte
Riesch Verena, Tilse Rainer, Ulmer Meike Dres. med. dent. Zahn?rzte
Ritzinger Klaus Dr, Suttner Tobias
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schega Jürgen Dr. Zahnarzt
Schnirring Peter
Seuster Stephan Dr. Zahnarzt
Werling Gerlinde Zahn?rztin
Will Th. u. Partner Zahn?rzte
Wind Daniela Dr. med. dent. Zahn?rztin
Wind Daniela Dr. med. dent. Zahn?rztin
Zahn?rztliche Praxisgemeinschaft
Zahnarzt Dr. med. dent Guido Apfel
Zahnarztpraxis D?ring G?tz u. Isa Dipl.-Stom.
Zahnklinik Dreil?ndereck Dr. Strohmenger
Zahnmedicus Harz Eva Zahn?rztin
Zahnmedicus Harz Eva Zahn?rztin
Zahnmedicus Harz Eva Zahn?rztin
Zahnmedicus Harz Eva Zahn?rztin
Zahnmedicus Harz Eva Zahn?rztin
Zentrum für Zahnheilkunde Moers Dr. Riekeberg & Partner
Zentrum für Zahnheilkunde Moers Dr. Riekeberg & Partner
Allgemeine Zahnheilkunde Holfeld Dirk Dr.
Alpers Dr. u. Kollegen Zahn?rztliche Gemeinschaftspraxis
Aly Tarek Dr. - Zahnarzt
Anastase, Jana
Anastase, Jana

標籤：硒 网页抓取

上一篇：如何為html表單使用特定的鏈接和電子郵件？

下一篇：網路從商業報紙上抓取鏈接