高效爬取美麗的圖片

任務目標
任務流程
- step1：復制
- step2：粘貼
- step3：重學異步
- - 什么是異步
  - 勤奮的小明
  - 理解小明
  - 理解~~美女~~ 美麗的圖片
  - 明確思路
  - 檢驗思路
  - 檢驗結果
- step4：執行緒池
- - 步驟
看評論

任務目標

在一起學爬蟲（Python） — 05 中呢，我們爬取了很多很多的美女美麗的圖片，但是不曉得大家有沒有覺得太慢了，這樣讓很快的我們很是接受不了，

正好我們在一起學爬蟲（Python） — 08 中講到了異步，眾所周知，異步是提高效率的一種方式，那么我們是不是也可以用異步來實作唰唰唰地下載美女美麗的圖片呢？

這就是我們今天的任務目標！如果你有思路了，就把你的思路在評論里跟大家分享一下吧，學習還是要多交流的嘛~

(｀?ω?′)

任務流程

step1：復制

沒錯，這里我們又用到了step這個英語單詞，為什么呢？

一切盡在不言中…

話不多說，直接開始沖！

找到我們之前在一起學爬蟲（Python） — 05 中撰寫的代碼，直接復制到一個新的py檔案里！

當然如果你是那種鄰居家的孩子的話，也可以選擇自己找一個網站嘗試著把圖片爬取下來，

這里小澤給大家直接設定幾個傳送門，方便去看美女美麗的圖片：

傳送門①號

傳送門②號

兩個就好了，多了怕大家身體承受不住哈，

當然如果你屬于那種比較難以滿足的，不要害羞哦，偷偷地告訴小澤，會悄悄地給你一些好康的，絕對不會暴露你的特殊愛好的，我保證！

(｀?ω?′)

step2：粘貼

簡簡單單兩個字，卻包含了可大可小，可長可短的很多很多資訊，秒啊！

當然如果你懶得翻到一起學爬蟲（Python） — 05 中去尋找美女美麗的圖片的代碼呢，也可以直接在下面進行復制然后粘貼哈，

這就是愛嗎，小澤好暖！

import requests
from lxml import etree
import os
# 指定第一個url
url = 'http://www.win4000.com/zt/dongman.html'
# 指定偽裝頭
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
# 讀取第一個url
response = requests.get(url=url,headers=headers).text
# 樹化第一個頁面
tree = etree.HTML(response)
# 找到圖片對應的第二個頁面（li串列）
leaf = tree.xpath('//div[@class="tab_tj"]//ul[@class="clearfix"]/li/a/@href')

# 創建一個檔案夾
if not os.path.exists('./setu'): # 如果該檔案夾不存在，則創建
    os.mkdir('./setu')


# 遍歷每一張圖片所對應的第二個頁面
for a in leaf:
    # 防止出錯中止程式
    try:
        # 設定區域變數，177105_b
        b = 1
        # 回圈獲取圖集里的每一張圖片，默認最多10張
        while b < 11:
            # 切割-->拼接
            c = a.split('.html')[0]
            d = c+'_'+str(b)+'.html'
            # 當前圖集的下一張
            b += 1
            # 對第二個頁面開始讀取，前面的都是為了方便找url
            e = requests.get(url=d,headers=headers).text
            # 樹化第二個頁面
            f = etree.HTML(e)
            # 在第二個頁面里找到我們要的圖片地址 [0]是指把串列里第一個元素提取出來，可以這么拼接！！
            g = f.xpath('//div[@class="main"]//div[@class="pic-meinv"]/a/img/@src')[0]
            # 獲取圖片的二進制資料
            h = requests.get(url=g,headers=headers).content
            # 給圖片起名
            i = 'setu/'+g.split('/')[-1]
            # 持久化存盤
            with open(i,'wb') as fp:
                fp.write(h)

    except:
        print('出錯啦')

不過確實寫的有點粗糙哈，如果有能力的小伙伴可以把代碼優化一下，然后偷偷發給小澤，偷偷的哦…

(｀?ω?′)

step3：重學異步

這里有的同學就問了，老師我們之前明明學過異步，為什么還要重學異步呢？難道是老師忘了嗎忘了嗎忘了嗎…

當然不是啦，說是重學是有原因的，原因就是之前的異步有很多小伙伴壓根就沒有看懂的嘛，不是說什么笨不笨，聰明不聰明，而是小澤講的不是很認真吧，所以也就耽誤了很多渴望學習的小伙伴，于是乎，今天就來教大家學異步啦！

當然，異步不是那么容易學的，我們現在只能努力入門，然后慢慢積累經驗，才能應用得當，這就需要大家一起努力啦！

什么是異步

這里有的同學就又要問了，老師老師老師，這里之前講過誒，為什么還要再講一遍呢？

因為今天我們要用美女美麗的圖片的例子來說明，什么是異步，通過實踐來理解異步的作用！

(｀?ω?′)

勤奮的小明

好的，讓我們把目光重新放到還在一心三用的小明身上…

在這里插入圖片描述

如果你忘了，沒關系，這里也不會講，自己去一起學爬蟲（Python） — 08 里面復習一下子哈，

(｀?ω?′)

先不管其他代碼，我們看看以下的代碼：

在這里插入圖片描述

理解小明

大家試著這樣理解，小明sleep的那兩秒或者四秒，是他僅有的休息時間，然后異步的作用就是在他休息的時間讓他去干別的事，這樣就可以理解了吧！！！

理解美女美麗的圖片

那么我們從網上爬取圖片的時候，步驟又是怎么樣的呢？

1.向圖片網址發送請求，就是模擬我們打開圖片網址
2.接收服務器發給我們的所有資訊，對，是它自愿給我們的！
3.從很亂的資料里面找到我們要的圖片對應的網址，每個圖片都有一個對應的下載網址
4.然后進行下載，注意，下載的話是要根據每個人的網速決定快慢的
5.保存到本地

但是但是但是，我們這樣做的前提是我們只有一臺電腦，不像網吧老板，可以同時下50部高清電影，還不帶卡的，

那么我們仔細想一想，電腦在等待圖片下載完成的這個程序中，它做了什么嗎？

沒有！

它什么都沒做，

也許一張圖片很快就下好了，唰的一下很快啊，一兩秒就搞定了，所以你感覺不到電腦在偷懶，但是如果幾百幾千張的話，積少成多，眾所周知，時間就是金錢，相當于我們在浪費金錢！

要做一個勤儉節約的人，所以，不能浪費錢！

那么，我們要怎么做呢？

明確思路

我們要做的，可以是讓電腦在等待圖片下載好的這段時間里，讓它再去下載另一張圖片，然后再它等待另一張圖片下載好的時候，再讓它去下載另另一張的圖片……

也就是異步！！！

如果不是異步，就是同步，同步就是按照代碼的流程走，不帶拐彎的，

那我們是不是可以這樣想，需要等待的是下載圖片的這個程序：

在這里插入圖片描述
也就是向網路請求的這一塊地方！

為什么不是起名，拼接，保存的那些地方呢？

因為做這些操作的時候所利用到的是電腦的性能，如果電腦的性能不過關的話，怎么也不會快的，但是下載東西不同，是可以多執行緒的！

思路明確，讓我們把小明替換成美女美麗的圖片！

(｀?ω?′)

檢驗思路

首先，將我們原始碼中的這一部分：
在這里插入圖片描述

單獨拿出來，剩下的全部封裝到方法中：

async def meinv():
    # 指定第一個url
    url = 'http://www.win4000.com/zt/dongman.html'
    # 指定偽裝頭
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    # 讀取第一個url
    response = requests.get(url=url, headers=headers).text
    # 樹化第一個頁面
    tree = etree.HTML(response)
    # 找到圖片對應的第二個頁面（li串列）
    leaf = tree.xpath('//div[@class="tab_tj"]//ul[@class="clearfix"]/li/a/@href')
    # 遍歷每一張圖片所對應的第二個頁面
    for a in leaf:
        # 防止出錯中止程式
        try:
            # 設定區域變數，177105_b
            b = 1
            # 回圈獲取圖集里的每一張圖片，默認最多10張
            while b < 11:
                # 切割-->拼接
                c = a.split('.html')[0]
                d = c + '_' + str(b) + '.html'
                # 當前圖集的下一張
                b += 1
                # 對第二個頁面開始讀取，前面的都是為了方便找url
                e = requests.get(url=d, headers=headers).text
                # 樹化第二個頁面
                f = etree.HTML(e)
                # 在第二個頁面里找到我們要的圖片地址 [0]是指把串列里第一個元素提取出來，可以這么拼接！！
                g = f.xpath('//div[@class="main"]//div[@class="pic-meinv"]/a/img/@src')[0]
                # 獲取圖片的二進制資料
                h = requests.get(url=g, headers=headers).content
                # 給圖片起名
                i = 'setu/' + g.split('/')[-1]
                # 持久化存盤
                with open(i, 'wb') as fp:
                    fp.write(h)
        except:
            print('出錯啦')

因為是直接復制到了之前小明學習英語的方法里，所以就只改了下函式名，誒嘿，

但是，到這里我們就全部錯了！大錯特錯的那種！！

為什么呢？還記得我們之前說的陰陽人嗎，只有陰陽起來，才能融入這個環境，很明顯我們的requests模塊是個正人君子，也就是說，如果要用異步，我們就沒有辦法用requests模塊，如果要用requests模塊就沒有辦法用異步！這就是不兼容，

檢驗結果

單從結果來說，我們算是失敗了，但是思路是沒有問題的，出問題的地方就在requests模塊不能用這個點上，也就是說只要我們能找到一個代替requests模塊并且支持異步大的新模塊或者方法，就可以完美解決這個問題，那么有沒有呢？

有！而且也很簡單，但是今天先不介紹這一種方法，不要忘了我們今天的目標，進一步理解異步，還有下載美女美麗的圖片！

step4：執行緒池

關于對異步的進一步理解，如果還是沒有聽懂也沒有關系，因為這條道路任重而道遠，小澤還會繼續跟大家詳細地講解異步協程這一塊的知識！

今天，我們就來用一個異步的下位方法，也就是在一定程度上能代替異步的方法：執行緒池！

通俗點講，就是一個人看50部小電影會受不了，但是50個人每人看1部小電影就會意猶未盡，而且也能完成看50部小電影的目標，

廢話不多說，直接上高速！

步驟

首先，先匯入執行緒池的模塊：

from multiprocessing.dummy import Pool

然后讓我們實體化一個執行緒池的物件！

# 實體化一個有x個執行緒的執行緒池物件，這里我們開啟兩個執行緒
pool = Pool(2)

準備作業已經完成，接下來我們只需要把任務串列添加到這個執行緒池里就可以啦，注意，是任務串列哦！

所以我們需要提前準備好一個存放任務的串列：

# 創建一個任務串列
renwu_list = []

接下來，就讓我們去找任務吧！

爬取美女美麗的圖片：

首先打開我們的傳送門①號，在一開始就有哦，不要偷懶，上去翻一翻！

在這里插入圖片描述

往下翻一翻，發現圖片是會一直出現的，也就是說是阿賈克斯請求，是動態加載的圖片！

不管3x7=21，直接打開抓包工具康一康：
在這里插入圖片描述

用我們猛男的金手指定位到第一張圖片，發現了一張圖片鏈接，不過只是個縮略圖而已，我們要的上它上面的那個鏈接，點進去看一看！

在這里插入圖片描述

看到開頭的a了嗎，在html網頁的撰寫里，通常用a標簽寫可以跳轉到其他頁面的東西，記住嘍！

我們一般點的按鈕上面，說不定也是一個按鈕上面覆寫一個a標簽，

在這里插入圖片描述

點進去后發現有一張比較大的圖片了，打開抓包工具康一康夠不夠大：

在這里插入圖片描述
可以看到，雖然確實大了一點，但還是不夠大，遠遠滿足不了我們！

觀察一下圖片周圍的頁面：

在這里插入圖片描述
發現有兩個下載的按鈕，那么這兩個下載的按鈕一定就是向服務器發送請求然后獲取更大的圖片吧！

但是這里就牽扯到模擬登陸的知識點了，這一塊我們后續再講，所以先爬去中等份的圖片，留一點懸念~

為了以防萬一，我們還是在抓包工具中全域搜索一下，看看會不會有漏網之魚！

在這里插入圖片描述
找完14張jpg格式的圖片發現都不是我們想要的大圖片，果然是通過請求獲得的，

(｀?ω?′)

不過沒關系，這里我們先觀察剛進去時候的頁面，就是那個動態加載的頁面，找到規律！

在這里插入圖片描述
一直往下滑會發現，一直有index_xx.html的檔案出現，每一份里面有一定量的圖片，當然也保存了圖片對應的縮略圖和跳轉頁面的url對吧，那我們直接向index_xx.html發送請求，是不是就可以拿到發送過來的頁面資料呢，讓我們試一試吧：

在這里插入圖片描述
通過觀察，我們發現這些圖片都是在ul下的li串列里，所以我們先爬取ul串列下所有的li標簽里對應的資料！

import requests
from lxml import etree
url = 'https://www.52dmtp.com/pcwallpaper/index_15.html'
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
# 發起請求獲得資料
response = requests.get(url=url,headers=headers).text
# 樹化處理回傳的資料
tree = etree.HTML(response)
# 定位查找li串列
li_list = tree.xpath('//div[@class="w1200 r content"]/ul/li')
print(li_list)

最后我們列印出li_list，看看有沒有資料！

在這里插入圖片描述
好的，很成功，一個好的開始往往決定了美好的未來，讓我們繼續前進！

注意我們這里選的url，是index_xx.html，也就是說xx可以是我們自己決定的，因為它每一次回傳的數量是固定的，后期可以用回圈反復請求！不要糾結不要糾結不要糾結！！！

然后用回圈把所有的資料都遍歷出來：

# 回圈讀取串列中每一條li
for li in li_list:
	# 在li中找src，這里我們直接找的縮略圖，省事
    data = li.xpath('./div/a/img/@src')[0]

為什么要直接找縮略圖呢？因為我們已經得不到完美的圖片了，不如不要，所以這里只是為了明確思路，好繼續下一步，我們就勉為其難地下載縮略圖吧！

# 回圈讀取串列中每一條li
for li in li_list:
    data = li.xpath('./div/a/img/@src')[0]
    name = li.xpath('./div/a/img/@alt')[0]
    a = requests.get(url=data,headers=headers).content
    with open(name,'wb') as fp:
        fp.write(a)

這里我們把圖片的名字也給進行了定位，下載起名一氣呵成，運行走你！
在這里插入圖片描述

好家伙，直接報錯，原因大概就是解碼的問題吧，不過不要緊，遇到亂碼，我們就……

# 回圈讀取串列中每一條li
for li in li_list:
    data = li.xpath('./div/a/img/@src')[0]
    name = li.xpath('./div/a/img/@alt')[0]
    # 遇到亂碼就用這個轉換
    name = name.encode('iso-8859-1').decode('utf-8')
    # 由于有的名字太長了，所以弄短一點
    name = name[0:10]+'.jpg'
    a = requests.get(url=data,headers=headers).content
    with open(name,'wb') as fp:
        fp.write(a)