python爬蟲隨心所欲地爬取百度圖片

一、前言

之前爬取了很多靜態網頁的內容，包括：小說、圖片等等，今天我來嘗試一下動態網頁的爬取，眾所周知，百度圖片就是一個動態網頁，那么，沖！沖！！沖！！！

二、需要匯入的庫

import requests
import json
import os

三、實作程序

1、下載鏈接分析

首先，打開百度，搜索一個內容，這里搜索的是男神（本人 ）——彭于晏

然后，打開抓包工具，選擇XHR選項，按Ctrl+R，然后你會發現，隨著你滑鼠的滑動，右側會出現一個又一個的資料包，

（這里沒滑動太多，一開始因為滑動太多，錄的GIF超5M了）

然后，選一個包，查看它的headers，如圖：

截取之后，粘貼在記事本上，作為一個URL，后文會用到，

這里有很多很多的引數，我也不知道具體哪些是可以忽略的，后文就索性全復制下來了，具體看后文，

到這里，能夠直接觀察到的內容就結束了，接下來，借助代碼，幫我們打開另一個世界的大門

沖就完事了！

2、代碼分析

首先：把上述中的“其它引數”組在一起，

自己做的話，最好復制自己的“其它引數”，

之后，我們可以先提取一下試試，并且把編碼格式改成'utf-8'

 url = 'https://image.baidu.com/search/acjson?'
    param = {
        'tn': 'resultjson_com',
        'logid': ' 7517080705015306512',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': '彭于晏',
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        'word': '彭于晏',
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '',
        'istype': '',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'star',
        'pn': '30',
        'rn': '30',
        'gsm': '1e',
    }
    # 將編碼形式轉換為utf-8
    response = requests.get(url=url, headers=header, params=param)
    response.encoding = 'utf-8'
    response = response.text
    print(response)

運行結果如下：

看上去挺亂的哈，沒事，我們給包裝一下！

在上面的基礎上加上：

 # 把字串轉換成json資料
    data_s = json.loads(response)
    print(data_s)

運行結果如下：

和上面相比，已經明晰很多了，但依舊不夠明確，為什么呢？因為它列印的格式不方便我們觀看！

對此，有兩種解決辦法，

①匯入pprint庫，接著輸入pprint.pprint(data_s)，就能列印啦，如下圖

②使用json在線決議器（自行百度），結果如下：

解決掉上一步，我們會發現，想要的資料都在data里面！

那么就提取吧！

 a = data_s["data"]
    for i in range(len(a)-1):  # -1是為了去掉上面那個空資料
        data = a[i].get("thumbURL", "not exist")
        print(data)

結果如下：

到這里，已經成功90%啦，剩下的就是保存和優化代碼了！

3、完整代碼

這部分和上面有些許不同，仔細看看就會發現嗷！

# -*- coding: UTF-8 -*-
"""
@Author  ：遠方的星
@Time   : 2021/2/27 17:49
@CSDN    ：https://blog.csdn.net/qq_44921056
@騰訊云   ： https://cloud.tencent.com/developer/user/8320044
"""
import requests
import json
import os
import pprint
# 創建一個檔案夾
path = 'D:/百度圖片'
if not os.path.exists(path):
    os.mkdir(path)
# 匯入一個請求頭
header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
# 用戶（自己）輸入資訊指令
keyword = input('請輸入你想下載的內容：')
page = input('請輸入你想爬取的頁數：')
page = int(page) + 1
n = 0
pn = 1
# pn代表從第幾張圖片開始獲取，百度圖片下滑時默認一次性顯示30張
for m in range(1, page):
    url = 'https://image.baidu.com/search/acjson?'
    param = {
        'tn': 'resultjson_com',
        'logid': ' 7517080705015306512',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': keyword,
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        'word': keyword,
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '',
        'istype': '',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'star',
        'pn': pn,
        'rn': '30',
        'gsm': '1e',
    }
    # 定義一個空串列，用于存放圖片的URL
    image_url = list()
    # 將編碼形式轉換為utf-8
    response = requests.get(url=url, headers=header, params=param)
    response.encoding = 'utf-8'
    response = response.text
    # 把字串轉換成json資料
    data_s = json.loads(response)
    a = data_s["data"]  # 提取data里的資料
    for i in range(len(a)-1):  # 去掉最后一個空資料
        data = a[i].get("thumbURL", "not exist")  # 防止報錯key error
        image_url.append(data)

    for image_src in image_url:
        image_data = requests.get(url=image_src, headers=header).content  # 提取圖片內容資料
        image_name = '{}'.format(n+1) + '.jpg'  # 圖片名
        image_path = path + '/' + image_name  # 圖片保存路徑
        with open(image_path, 'wb') as f:  # 保存資料
            f.write(image_data)
            print(image_name, '下載成功啦！！！')
            f.close()
        n += 1
    pn += 29

運行結果如下：


友情提示：
①：一頁是30張
②：輸入的內容可以很多變：比如橋、月亮、太陽、胡歌、趙麗穎等等，

四、Blogger’s speech

希望大家可以，點贊、關注、收藏，三連支持一下！

作者：遠方的星
CSDN：https://blog.csdn.net/qq_44921056
騰訊云：https://cloud.tencent.com/developer/column/91164
本文僅用于交流學習，未經作者允許，禁止轉載，更勿做其他用途，違者必究，