Python基礎進階之海量表情包多執行緒爬蟲-有解無憂

本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理
在這里插入圖片描述

一、前言

在我們日常聊天的程序中會使用大量的表情包，那么如何去獲取表情包資源呢?今天老師帶領大家使用python中的爬蟲去一鍵下載海量表情包資源

二、知識點

requests網路庫
bs4選擇器
檔案操作
多執行緒

三、所用到得庫

import os
import requests
from bs4 import BeautifulSoup

四、功能

# 多執行緒程式需要用到的一些包
# 佇列
from queue import Queue
from threading import Thread

五、環境配置

解釋器 python3.6
編輯器 pycharm專業版激活碼

六、多執行緒類代碼

# 多執行緒類
class Download_Images(Thread):
    # 重寫建構式
    def __init__(self, queue, path):
        Thread.__init__(self)
        # 類屬性
        self.queue = queue
        self.path = path

        if not os.path.exists(path):
            os.mkdir(path)

    def run(self) -> None:
        while True:
            # 圖片資源的url鏈接地址
            url = self.queue.get()
            try:
                download_images(url, self.path)
            except:
                print('下載失敗')
            finally:
                # 當爬蟲程式執行完成/出錯中斷之后發送訊息給執行緒 代表執行緒必須停止執行
                self.queue.task_done()

七、爬蟲代碼

# 爬蟲代碼
def download_images(url, path):
    headers = {
        'User-Agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'lxml')
    img_list = soup.find_all('img', class_='ui image lazy')

    for img in img_list:
        image_title = img['title']
        image_url = img['data-original']

        try:
            with open(path + image_title + os.path.splitext(image_url)[-1], 'wb') as f:
                image = requests.get(image_url, headers=headers).content
                print('正在保存圖片:', image_title)
                f.write(image)
                print('保存成功:', image_title)
        except:
            pass


if __name__ == '__main__':
    _url = 'https://fabiaoqing.com/biaoqing/lists/page/{page}.html'
    urls = [_url.format(page=page) for page in range(1, 201)]
    queue = Queue()
    path = './threading_images/'

    for x in range(10):
        worker = Download_Images(queue, path)
        worker.daemon = True
        worker.start()

    for url in urls:
        queue.put(url)

    queue.join()
    print('下載完成...')

八、爬取效果圖片

在這里插入圖片描述

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/236363.html

標籤：Python

上一篇：爬取全國12個熱門城市奶茶店鋪情況，看看你的城市哪個品牌最多

下一篇：Python實作多行程/多執行緒同時下載單個檔案，解決多個下載任務

Python基礎進階之海量表情包多執行緒爬蟲