前言

魷魚游戲是什么，相信大家都不陌生了，雖然說博主沒看過這部劇，但是還是對豆瓣的評論有點好奇，剛剛好近期學習了selenium，就當練練手了，來吧來吧，爬爬爬，

分析頁面

還是老樣子，兄弟們先打開我們最喜歡的google瀏覽器，點擊F12，開啟爬蟲快樂模式
來到頁面，如下圖步驟，逐個點擊

然后我們就發現這個頁面確實很簡單，每一條評論就是包在了class為short的span標簽內，那就可以開始寫xpath了,如下圖

這樣一頁的評論就拿到了，接下來就是換頁了
有一個小技巧，不需要我們自己寫xpath，直接用google瀏覽器可以生成xpath，如下圖所示

點擊這個Copy path這樣就拿到了按鈕的xpath的內容，然后實作點擊頁面就可以了，好了就這樣分析完了，接下來開始寫代碼了，

重要代碼

selenium打開豆瓣短評頁面

# 待打開的頁面
    url = 'https://movie.douban.com/subject/34812928/comments?limit=20&status=P&sort=new_score'
    # 躲避智能檢測
    option = webdriver.ChromeOptions()
    # option.headless = True
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    option.add_experimental_option('useAutomationExtension', False)
    driver = webdriver.Chrome(options=option)
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
                           {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
                            })
    #打開頁面
    driver.get(url)

根據xpath來獲取評論內容

這里獲取評論的xpath陳述句

//span[@class="short"]

獲取評論代碼

        options = driver.find_elements(By.XPATH, '//span[@class="short"]')
        for i in options:
           text=text+i.text

實作跳轉下一頁

下一頁的按鈕xpath

//*[@id="paginator"]/a

跳轉按鈕點擊代碼

        nextpage = driver.find_element(By.XPATH, '//*[@id="paginator"]/a')
        nextpage.click()

完整代碼

詞云生成工具類

# -*- codeing = utf-8 -*-
# @Time : 2021/10/9 20:54
# @Author : xiaow
# @File : wordcloudutil.py
# @Software : PyCharm


from wordcloud import WordCloud
import PIL.Image as image
import numpy as np

import jieba


def trans_CN(text):
    # 接收分詞的字串
    word_list = jieba.cut(text)
    # 分詞后在單獨個體之間加上空格
    result = " ".join(word_list)
    return result


def getWordCloud(text):
    # print(text)
    text = trans_CN(text)
    # 詞云背景圖
    mask = np.array(image.open("E://file//pics//mask3.jpg"))
    wordcloud = WordCloud(
        mask=mask,
        # 字體樣式檔案
        font_path="C:\Windows\Fonts\STXINGKA.TTF",
        background_color='white'
    ).generate(text)
    image_produce = wordcloud.to_image()
    image_produce.show()

評論獲取代碼

# -*- codeing = utf-8 -*-
# @Time : 2021/6/27 22:29
# @Author : xiaow
# @File : test.py
# @Software : PyCharm
import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from api import wordcloudutil
if __name__ == '__main__':
    url = 'https://movie.douban.com/subject/34812928/comments?limit=20&status=P&sort=new_score'
    # 躲避智能檢測
    option = webdriver.ChromeOptions()
    # option.headless = True
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    option.add_experimental_option('useAutomationExtension', False)
    driver = webdriver.Chrome(options=option)
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
                           {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
                            })
    driver.get(url)
    text=''
    # 獲取所有的選項元素
    j=0
    while 1:
        # 定位到新跳轉的頁面
        time.sleep(1)
        driver.switch_to.window(driver.window_handles[0])

        options = driver.find_elements(By.XPATH, '//span[@class="short"]')
        for i in options:
           text=text+i.text
        time.sleep(2)
        nextpage = driver.find_element(By.XPATH, '//*[@id="paginator"]/a')
        nextpage.click()
        j=j+1
        if j>10:
            break
    print(text)
    wordcloudutil.getWordCloud(text)

成果

最后爬取的評論生成了詞云圖，如下圖所示

就這樣就結束了，還是很簡單的

下面推薦下自己的專欄，關于爬蟲的基礎內容，適合新手練練手
??爬蟲專欄，快來點我呀??

python爬取網易云評論 超簡單教程

學會這個，全網視頻任你爬取，一分鐘學會you-get

敲代碼累了怎么辦，快用python爬小姐姐視頻吧

聊天沒有表情包被嘲諷，程式員直接用python爬取了十萬張表情包

兩行代碼爬取微博熱搜，并實作郵件提醒功能，媽媽再也不用擔心我吃不到瓜了 爬蟲基礎

python爬取4k小姐姐圖片 人生苦短 我用python

python爬b站視頻 人生苦短 我用python

Python爬取美女圖片 爬蟲基礎

有緣再寫，侵權立刪