我正在使用rvest從給出的結果中抓取新聞文章
https://www.derstandard.at/international/2011/12/01
（以及該頁面上的其他 1000 多個鏈接）。
對于其他網頁，我曾經hmtl_nodes提取鏈接并創建一個回圈來打開它們，以便從每篇文章中抓取文本。這是我正在嘗試做的簡短版本：
library(rvest)
library(tidyverse)
library(RSelenium)
get_text <- function(headline_links) {
article_page <- read_html(headline_links)
text_article <- article_page %>%
html_nodes('.article-body p') %>%
html_text() %>%
paste( collapse = " ")
return(text_article)
}
date <-seq.Date(as.Date("2011/12/01"), as.Date("2012/06/30"), by = 1 )
date <-strptime(date, "%Y-%m-%d")
dat2 <-format(date, "%Y/%m/%d")
Newspaper <- as.list("der standard")
articles_standard <- (data.frame())
for (page_date in date[1:length(date)]) {
link <- paste0("https://www.derstandard.at/international/", page_date)
page <- read_html(link)
headline_links <- page %>%
html_nodes('.teaser-inner') %>%
html_attr("href")
text_all <- vector("character", length(headline_links))
text_all<- sapply(headline_links, FUN = get_text, USE.NAMES = F)
text_all <- as.data.frame(cbind(text_all,headline_links))
articles_standard <- rbind(articles_standard, data.frame(Newspaper, text_all, stringsAsFactors = F))
}
但是，當我嘗試提取鏈接時，沒有輸出。我認為問題是在打開我必須接受 cookie 和其他東西的網頁時出現的彈出視窗。
我在Scrape 站點上發現了一些類似的問題，該站點要求 rvest 同意 cookie，建議在我的瀏覽器中使用網路分析功能來查找非隱藏 API。但是，我找不到它。
我安裝了 PhantomJS 二進制檔案并嘗試使用它來呈現 HTML 并使用rvest此處提供的代碼對其進行抓取：Scraping javascript website in R，但是，我沒有得到任何結果（因為 phantomJS 已被棄用？）。
我也讀過RSelenium幾次，但從我讀到的內容來看，它很慢。我無論如何都試過了，但是，使用該$findElement功能總是會給我一個錯誤。我想通過首先切換到iframe此處建議的那樣來提取資訊：RSelenium 無法找到具有給定引數的元素，這只會導致我出現相同的錯誤。這是我所做的：
driver <- rsDriver(port = 1333L,browser=c("firefox"))
remote_driver <- driver[["client"]]
remote_driver$navigate(link)
# content is in iframe
frames <- remote_driver$findElements("css", "iframe")
# switch to first ifram
remote_driver$switchToFrame(frames[[1]])
webElem <- remote_driver$findElement(using = "xpath", value ="/html/body/div/div[2]/div[3]/div[1]/button")
webElem$clickElement()
我得到的錯誤是：
Selenium message:Unable to locate element: #notice.message.type-modal div.message-component.message-row.dst-columns div.message-component.message-column button
For documentation on this error, please visit: https://www.seleniumhq.org/exceptions/no_such_element.html
Build info: version: '4.0.0-alpha-2', revision: 'f148142cf8', time: '2019-07-01T21:30:10'
System info: host: 'DESKTOP-2SMICP6', ip: '137.208.131.247', os.name: 'Windows 10', os.arch: 'amd64', os.version: '10.0', java.version: '1.8.0_311'
Driver info: driver.version: unknown
Error: Summary: NoSuchElement
Detail: An element could not be located on the page using the given search parameters.
class: org.openqa.selenium.NoSuchElementException
Further Details: run errorDetails method
這是我第一次做網頁抓取，而且我只有一些 R 方面的經驗，對 html、javascript 和其他程式不熟悉。所以，無論我有錯css selector或xpath（我也嘗試過其他幾個人，在代碼中未顯示）或有它不作業的另一個原因。
我現在有點迷茫，所以謝謝你的幫助！
uj5u.com熱心網友回復：
網站上有很多彈出視窗。你是對的，你一開始就接受了cookie。
這是獲取某一日期鏈接的代碼 2011/12/01
url = 'https://www.derstandard.at/international/2011/12/01'
#start the browser
library(RSelenium)
driver = rsDriver(browser = c("firefox"))
remDr <- driver[["client"]]
remDr$navigate(url)
現在您必須接受 .cookie 中的 cookie iframe。
webElem <- remDr$findElements("css", "iframe")
remDr$switchToFrame(webElem[[2]])
remDr$findElement(using = "xpath", '//*[@id="notice"]/div[3]/div[1]/button')$clickElement()
在這一步之后，我建議使用remDr$refresh()幾次重繪 ，因為很少有彈出視窗可能會破壞我們的網頁抓取。
然后只需提取每篇文章的鏈接，
remDr$getPageSource()[[1]] %>%
read_html() %>%
html_nodes(xpath = '/html/body/main/div/div[2]/section[1]') %>% html_nodes("a") %>%
html_attr("href")
[1] "/story/1322531678074/deutsche-bundesanwaltschaft-keine-indizien-fuer-anschlagsplaene-teherans"
[2] "/story/1322531677068/regierung-uebersteht-vertrauensabstimmung"
[3] "/story/1322531676520/moskau-lieferte-anti-schiff-raketen"
[4] "/story/1322531676296/vergewaltigungsopfer-soll-taeter-heiraten"
[5] "/story/1322531672482/erneut-zahlreiche-tote-bei-anschlaegen"
[6] "/story/1322531670023/gewerkschaftsbund-von-verfassungsschutz-bespitzelt"
或者你也可以使用，
remDr$getPageSource()[[1]] %>%
read_html() %>%
html_nodes('.teaser-inner') %>% html_nodes("a") %>%
html_attr("href")
[1] "/story/1322531678074/deutsche-bundesanwaltschaft-keine-indizien-fuer-anschlagsplaene-teherans"
[2] "/story/1322531677068/regierung-uebersteht-vertrauensabstimmung"
[3] "/story/1322531676520/moskau-lieferte-anti-schiff-raketen"
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/369468.html