處理動態渲染頁面

1.Selenium的使用

Selenium是一個自動化測驗工具，利用它可以驅動瀏覽器執行特定的動作，如點擊、下拉等操作，同時還可以獲取瀏覽器當前呈現的頁面的源代碼，做到可見即可爬，對于一些JavaScript動態渲染的頁面來說，此種抓取方式非常有效，本節中，就讓我們來感受一下它的強大之處吧，

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
 
browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

運行代碼后發現，會自動彈出一個Chrome瀏覽器，瀏覽器首先會跳轉到百度，然后在搜索框中輸入Python，接著跳轉到搜索結果頁，搜索結果加載出來后，控制臺分別會輸出當前的URL、當前的Cookies和網頁源代碼，

Selenium支持非常多的瀏覽器，如Chrome、Firefox、Edge等，還有Android、BlackBerry等手機端的瀏覽器，另外，也支持無界面瀏覽器PhantomJS，

我們可以用如下方式初始化：

from selenium import webdriver

brower = webdriver.Chorme()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

這樣就完成了瀏覽器物件的初始化并將其賦值為browser物件，接下來，我們要做的就是呼叫browser物件，讓其執行各個動作以模擬瀏覽器操作，

我們可以用get()方法來請求網頁，引數傳入鏈接URL即可，比如，這里用get()方法訪問淘寶，然后列印出源代碼，代碼如下：

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

2.查找節點

單個節點

要想提取搜索框這個節點，首先要觀察它的源代碼:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Ckvby0K4-1601371792069)(attachment:image.png)]

可以發現，它id是q，name也是q，此外，還有許多其他屬性，此時我們就可以用多種方式獲取它了，比如，find_element_by_name()是根據name值獲取，find_element_by_id()是根據id獲取，另外，還有根據XPath、CSS選擇器等獲取的方式，

from selenium import webdriver

browser = webdriver.Chrome()
browser.get("https://www.taobao.com")
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id = "q"]')
print(input_first, input_second, input_third)
browser.close()

<selenium.webdriver.remote.webelement.WebElement (session="3c32a4bdd6d2aeecb8009f6a341a88d0", element="87630893-7416-48d5-bf2b-bf686b02124d")> <selenium.webdriver.remote.webelement.WebElement (session="3c32a4bdd6d2aeecb8009f6a341a88d0", element="87630893-7416-48d5-bf2b-bf686b02124d")> <selenium.webdriver.remote.webelement.WebElement (session="3c32a4bdd6d2aeecb8009f6a341a88d0", element="87630893-7416-48d5-bf2b-bf686b02124d")>

以下是所有獲取單個節點的方法：

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

另外，Selenium還提供了通用方法find_element()，它需要傳入兩個引數：查找方式By和值，實際上，它就是find_element_by_id()這種方法的通用函式版本，比如find_element_by_id(id)就等價于find_element(By.ID, id)，二者得到的結果完全一致，我們用代碼實作一下：

from selenium import webdriver
from selenium.webdriver.common.by import By
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q')
print(input_first)
browser.close()

<selenium.webdriver.remote.webelement.WebElement (session="a094dded3bb8abb549f0d966356a1d3f", element="1fc85c79-3e0a-4440-ba37-cdf29a898ad0")>

多個節點

find_element()方法只能查找一個節點，可以使用find_elements()方法查找多個節點

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()

[<selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="6c2d4189-0a59-4b90-a44d-3ae02df2978a")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="6d5677c9-35f4-4494-be5d-da531ff0d8e9")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="9569414b-b3ae-4705-91a3-1c3225620ffe")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="5765c842-fe9c-486a-858f-a06e68420e8c")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="a028df78-41e3-4a36-a48c-d8f3afd6fa69")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="67c35c5f-eb75-4db2-a9d3-1fd73643aec3")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="2697261f-a005-4c45-b402-6167aefa1a40")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="e3e7e64b-3a0e-403d-b912-5f472add548c")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="7c606743-079a-41e9-a938-312fef07bfe5")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="56605a7e-c438-47b4-b0c8-c85643fbf920")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="b7422228-c16e-49f8-9bf8-f2314cc9e563")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="00c76986-c1da-4630-b06c-529ebdf387f9")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="81788f33-b80e-47f5-9797-dd45f070e64d")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="fbee42c9-0682-46b8-9d7f-4f12840ba6ff")>, <selenium.webdriver.remote.webelement.WebElement (session="8a4fe778d475f7c9e1ad04af0f0c5fbb", element="ec5f44ee-200c-4686-b7ce-3748131734e0")>]

3.互動

Selenium可以驅動瀏覽器來執行一些操作，也就是說可以讓瀏覽器模擬執行一些動作，比較常見的用法有：輸入文字時用send_keys()方法，清空文字時用clear()方法，點擊按鈕時用click()方法，示例如下：

from selenium import webdriver
import time
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(3)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

這里首先驅動瀏覽器打開淘寶，然后用find_element_by_id()方法獲取輸入框，然后用send_keys()方法輸入iPhone文字，等待一秒后用clear()方法清空輸入框，再次呼叫send_keys()方法輸入iPad文字，之后再用find_element_by_class_name()方法獲取搜索按鈕，最后呼叫click()方法完成搜索動作，

通過上面的方法，我們就完成了一些常見節點的動作操作，更多的操作可以參見官方檔案的互動動作介紹：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement，

4.動作鏈

在上面的實體中，一些互動動作都是針對某個節點執行的，比如，對于輸入框，我們就呼叫它的輸入文字和清空文字方法；對于按鈕，就呼叫它的點擊方法，其實，還有另外一些操作，它們沒有特定的執行物件，比如滑鼠拖曳、鍵盤按鍵等，這些動作用另一種方式來執行，那就是動作鏈，

比如，現在實作一個節點的拖曳操作，將某個節點從一處拖曳到另外一處，可以這樣實作：

from selenium import webdriver
from selenium.webdriver import ActionChains
 
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()

首先，打開網頁中的一個拖曳實體，然后依次選中要拖曳的節點和拖曳到的目標節點，接著宣告ActionChains物件并將其賦值為actions變數，然后通過呼叫actions變數的drag_and_drop()方法，再呼叫perform()方法執行動作，此時就完成了拖曳操作.

5.執行JavaScript

對于某些操作，Selenium API并沒有提供，比如，下拉進度條，它可以直接模擬運行JavaScript，此時使用execute_script()方法即可實作:

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

6. 獲取節點資訊

6.1 獲取屬性

我們可以使用get_attribute()方法來獲取節點的屬性，但是其前提是先選中這個節點:

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_css_selector('.ZhihuLogoLink')
print(logo)
print(logo.get_attribute('class'))

<selenium.webdriver.remote.webelement.WebElement (session="7ac47a93f69e3271032cfc5dcaecac8f", element="21d1ee04-187c-4179-9ac1-338c31b5f5b7")>
ZhihuLogoLink

6.2 獲取文本值

每個WebElement節點都有text屬性，直接呼叫這個屬性就可以得到節點內部的文本資訊，這相當于Beautiful Soup的get_text()方法、pyquery的text()方法，示例如下：

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_css_selector('.Tabs-link')
print(input)
print(input.text)

<selenium.webdriver.remote.webelement.WebElement (session="f5b544501325970b9eb6525ebb825051", element="715ce887-6d4e-4d5d-b44a-ff4a072500d6")>
首頁

這里依然先打開知乎頁面，然后獲取“首頁”按鈕這個節點，再將其文本值列印出來，

6.3 獲取id、位置、標簽名的大小

另外，WebElement節點還有一些其他屬性，比如id屬性可以獲取節點id，location屬性可以獲取該節點在頁面中的相對位置，tag_name屬性可以獲取標簽名稱，size屬性可以獲取節點的大小，也就是寬高，這些屬性有時候還是很有用的，示例如下：

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_css_selector('.Tabs-link')
print(input)
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

<selenium.webdriver.remote.webelement.WebElement (session="c63c937e5db898df69fe71bd47ad4c30", element="4c5b99a5-0a7e-4d26-bc19-29c48767e758")>
4c5b99a5-0a7e-4d26-bc19-29c48767e758
{'x': 120, 'y': 1}
a
{'height': 50, 'width': 30}

7.切換Frame

我們知道網頁中有一種節點叫作iframe，也就是子Frame，相當于頁面的子頁面，它的結構和外部網頁的結構完全一致，Selenium打開頁面后，它默認是在父級Frame里面操作，而此時如果頁面中還有子Frame，它是不能獲取到子Frame里面的節點的，這時就需要使用switch_to.frame()方法來切換Frame，示例如下：

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
 
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

NO LOGO
<selenium.webdriver.remote.webelement.WebElement (session="6110a43a103b5fceb372cee29377ae07", element="892e5106-15e8-48fc-bf93-26702a44b82a")>
RUNOOB.COM

8.延時等待

在Selenium中，get()方法會在網頁框架加載結束后結束執行，此時如果獲取page_source，可能并不是瀏覽器完全加載完成的頁面，如果某些頁面有額外的Ajax請求，我們在網頁源代碼中也不一定能成功獲取到，所以，這里需要延時等待一定時間，確保節點已經加載出來，

這里等待的方式有兩種：一種是隱式等待，一種是顯式等待，

8.1 隱式等待

當使用隱式等待執行測驗的時候，如果Selenium沒有在DOM中找到節點，將繼續等待，超出設定時間后，則拋出找不到節點的例外，換句話說，當查找節點而節點并沒有立即出現的時候，隱式等待將等待一段時間再查找DOM，默認的時間是0，示例如下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('Tabs-link')
print(input)

<selenium.webdriver.remote.webelement.WebElement (session="d8a34093d766da7a3c1b2bd36edad331", element="0af99217-cd8a-471a-ab4e-87db2bc5ab01")>

8.2 顯示等待

隱式等待的效果其實并沒有那么好，因為我們只規定了一個固定時間，而頁面的加載時間會受到網路條件的影響，

這里還有一種更合適的顯式等待方法，它指定要查找的節點，然后指定一個最長等待時間，如果在規定時間內加載出來了這個節點，就回傳查找的節點；如果到了規定時間依然沒有加載出該節點，則拋出超時例外，示例如下

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

<selenium.webdriver.remote.webelement.WebElement (session="e896526a195f864e3421c9ccf4accb84", element="bc63c2c4-0d8e-4020-919d-e726ca985067")> <selenium.webdriver.remote.webelement.WebElement (session="e896526a195f864e3421c9ccf4accb84", element="63bc196a-300a-42aa-8436-8e6388e062c6")>

這里首先引入WebDriverWait這個物件，指定最長等待時間，然后呼叫它的until()方法，傳入要等待條件expected_conditions，比如，這里傳入了presence_of_element_located這個條件，代表節點出現的意思，其引數是節點的定位元組，也就是ID為q的節點搜索框，

這樣可以做到的效果就是，在10秒內如果ID為q的節點（即搜索框）成功加載出來，就回傳該節點；如果超過10秒還沒有加載出來，就拋出例外，

對于按鈕，可以更改一下等待條件，比如改為element_to_be_clickable，也就是可點擊，所以查找按鈕時查找CSS選擇器為.btn-search的按鈕，如果10秒內它是可點擊的，也就是成功加載出來了，就回傳這個按鈕節點；如果超過10秒還不可點擊，也就是沒有加載出來，就拋出例外，

關于等待條件，其實還有很多，比如判斷標題內容，判斷某個節點內是否出現了某文字等，下表列出了所有的等待條件，

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-GkwreVnY-1601371792072)(attachment:image.png)]

9.前進和后退

平常使用瀏覽器時都有前進和后退功能，Selenium也可以完成這個操作，它使用back()方法后退，使用forward()方法前進，示例如下：

import time
from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

10.Cookies

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[]

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

['CDwindow-D3B9146D4CE7EC35784DEF9DB96CFE4B', 'CDwindow-D8508F28CF34DFAE42F3822F2A78CC73']

首先訪問了百度，然后呼叫了execute_script()方法，這里傳入window.open()這個JavaScript陳述句新開啟一個選項卡，接下來，我們想切換到該選項卡，這里呼叫window_handles屬性獲取當前開啟的所有選項卡，回傳的是選項卡的代號串列，要想切換選項卡，只需要呼叫switch_to_window()方法即可，其中引數是選項卡的代號，這里我們將第二個選項卡代號傳入，即跳轉到第二個選項卡，接下來在第二個選項卡下打開一個新頁面，然后切換回第一個選項卡重新呼叫switch_to_window()方法，再執行其他操作即可，

11.例外處理

在使用Selenium的程序中，難免會遇到一些例外，例如超時、節點未找到等錯誤，一旦出現此類錯誤，程式便不會繼續運行了，這里我們可以使用try except陳述句來捕獲各種例外，

捕捉節點未找到例外(NoSuchElementException)：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
 
browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()

No Element