Python爬取某短視頻熱點-有解無憂

隨著短視頻的大火，不僅可以給人們帶來娛樂，還有熱點新聞時事以及各種知識，刷短視頻也逐漸成為了日常生活的一部分，本文以一個簡單的小例子，簡述如何通過Pyhton依托Selenium來爬取短視頻，僅供學習分享使用，如有不足之處，還請指正，

涉及知識點

selenium，作為瀏覽器端一個自動化測驗工具，可以模擬用戶操作瀏覽器的動作，就像是人自己操作瀏覽器一樣，關于selenium的具體資訊如下
- Selenium進行元素定位，主要有ID，Name，ClassName，Css Selector，Partial LinkText，LinkText，XPath，TagName等8種方式，
- Selenium獲取單一元素（如：find_element）和獲取元素陣列（如：find_elements）兩種方式，
- Selenium元素定位后，可以給元素進行賦值和取值，或者進行相應的事件操作（如：click），
requests，web請求物件，通過selenium獲取到視頻的url后，再通過requests庫進行視頻流的獲取，然后保存成本地視頻檔案，
瀏覽器開發者工具，通過開發者工具可以查看頁面上某一個按鈕或鏈接等頁面元素對應的html標識，

目標分析

在爬取視頻之前，需要分析目標結構，本視頻爬取分析可分為三步，具體如下所示：

1. 分析熱榜目錄

熱榜目錄是一個ul標簽，每一個熱榜物件一個li子標簽，分別包含熱度，標題等內容，點擊標題鏈接可以進入具體視頻播放頁面，目標分析如下所示：

2.分析視頻播放頁面

視頻在video標簽中播放，短視頻播放的真實地址，在video的source子標簽中，且為了保證播放質量，video下有三個source，任取其一即可，如下所示：

3. 分析彈出框

在爬取程序中，經過彈出需要登錄的視窗，需要及時關閉掉，否則可能會導致找不到頁面元素，從而爬取不成功，如下所示：

核心代碼

經過以上分析，就可以撰寫爬蟲代碼了，如下所示：

1. 遍歷熱點目錄

通過獲取頁面上對應的資訊，決議出熱點視頻的目錄，如下所示：

 1 self.__driver.get(self.__url)
 2 self.close_popup_window()
 3 # 4. 最大化視窗
 4 self.__driver.maximize_window()
 5 time.sleep(self.__wait_sec)
 6 # 打開以后，根據class=BHgRhxNh獲取ul下的li
 7 if self.checkIsExistsByClass(cls='BHgRhxNh'):
 8     # 獲取
 9     hots = self.__driver.find_elements(by=By.CLASS_NAME, value=https://www.cnblogs.com/hsiang/p/'BHgRhxNh')
10     hot_infos = []
11     index = 0
12     for hot in hots:
13         hot_info = {}
14         a = hot.find_element(by=By.TAG_NAME, value=https://www.cnblogs.com/hsiang/p/'a')
15         href = https://www.cnblogs.com/hsiang/p/a.get_attribute("href")
16         text = a.text
17         hot_info['url'] = href
18         hot_info['text'] = text
19         if index > 0:
20             div = hot.find_element(by=By.CLASS_NAME, value=https://www.cnblogs.com/hsiang/p/'GsuT_hjh')
21             if div is not None:
22                 hot_value = div.find_element(by=By.TAG_NAME, value=https://www.cnblogs.com/hsiang/p/'span').text
23                 hot_info['value'] = hot_value
24         hot_infos.append(hot_info)
25         index = index + 1
26     print(hot_infos)

2. 獲取真實短視頻url

打開單個熱點視頻的url，并決議真實短視頻播放url，如下所示：

1 def open_video_html(self, url):
2     """打開具體視頻的頁面"""
3     self.__driver.get(url=url)
4     time.sleep(1)
5     self.close_popup_window()  # 關閉彈窗
6     video = self.__driver.find_element(by=By.TAG_NAME, value=https://www.cnblogs.com/hsiang/p/'video')
7     source = video.find_element(by=By.TAG_NAME, value=https://www.cnblogs.com/hsiang/p/'source')
8     src = https://www.cnblogs.com/hsiang/p/source.get_attribute('src')
9     return src

3. 下載視頻

獲取真實的url后，即可進行下載，如下所示：

1 def download_video(self, url, video_name):
2     """根據視頻源地址進行下載"""
3     if os.path.exists(video_name):
4         # 如果已重新下載過，則不需要再次下載
5         return
6     else:
7         with open(video_name, 'wb') as fp:
8             fp.write(requests.get(url).content)

4. 關閉彈出的登錄視窗

在爬取程序中，經常彈出需要登錄的遮罩視窗，需要進行關閉，如下所示：

 1 def close_popup_window(self):
 2     try:
 3         login = self.__driver.find_element(by=By.ID, value=https://www.cnblogs.com/hsiang/p/'login-pannel')
 4         if login is not None:
 5             login.find_element(by=By.CLASS_NAME, value=https://www.cnblogs.com/hsiang/p/'dy-account-close').click()
 6     except BaseException as e:
 7         pass
 8     try:
 9         login = self.__driver.find_element(by=By.CLASS_NAME, value=https://www.cnblogs.com/hsiang/p/'GaDkStRD')
10         if login is not None:
11             btns = login.find_elements(by=By.TAG_NAME, value=https://www.cnblogs.com/hsiang/p/'button')
12             for btn in btns:
13                 if btn.text == '取消':
14                     btn.click()
15                     break
16     except BaseException as e:
17         pass

5. 保存日志

在爬取成功后，對爬取的短視頻的相關內容進行保存，如下所示：

 1 def save_data(self, hot_infos):
 2     """
 3     保存資料
 4     :param res_list: 保存的內容檔案
 5     :return:
 6     """
 7     t = time.strftime("%Y-%m-%d", time.localtime())
 8     with open(f'logs[{t}].json', 'a', encoding='utf-8') as f:
 9         res_list_json = json.dumps(hot_infos, ensure_ascii=False)
10         f.write(res_list_json)