先圖片開路

環境介紹

python 3.6 / 3.8
pycharm 編輯器
requests
parsel
os 檔案操作
在cmd里面就可以進行安裝 pip install requests

無論是爬取那個網站什么資料都是可以按照這個流程去分析

一. 資料來源分析

1. 確定爬取的東西?

網址: 彼岸壁紙
網站資料: 壁紙圖片

2. 壁紙圖片資料是來自于哪里

通過瀏覽器上面開發者工具(F12/滑鼠右鍵點擊檢查選擇network)進行抓包分析
I. 需要所有圖片的 ID
II. 獲取圖片ID之后, 才請求圖片詳情頁url地址
III. 獲取圖片地址以及圖片標題

如果你不知道資料來源, 就沒法進行爬取

【付費VIP完整版】只要看了就能學會的教程，80集Python基礎入門視頻教學

點這里，跳轉B站即可免費在線觀看

二. 代碼實作的程序: 確定需求(查詢資料來源分析) >>> 發送請求 >>> 獲取資料 >>> 決議資料 >>> 保存資料

發送請求對于圖片串列頁發送請求
獲取資料獲取網頁源代碼
決議資料提取圖片ID
發送請求把獲取到的圖片ID 出入圖片詳情頁url中
決議資料提取圖片地址以及圖片標題
保存資料
多頁爬取

1. 發送請求對于圖片串列頁發送請求

url = f'http://www.netbian.com/meinv/index_{page}.htm'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

<Response [200]> <> python里面表示的是物件回傳的是response物件(回應體物件)
200 狀態碼表示請求成功

2. 獲取資料獲取網頁源代碼 >>>> 獲取回應體的文本資料(字串型別)

# 它給回傳的資料 出現了亂碼 >>> 轉碼
response.encoding = response.apparent_encoding # 自動識別編碼
print(response.text) # html字串資料

3. 決議資料提取圖片ID 決議資料方式: re正則正則運算式 css選擇器 xpath

re正則正則運算式可以對于字串資料內容直接提取
css選擇器 xpath 都是根據標簽屬性內容提取資料

img_ids = re.findall('<li><a href="https://www.cnblogs.com/desk/(/d+).htm" title', response.text)
# 正則運算式匹配出來的資料內容 回傳的是串列  串列里面每一個元素都是圖片id

for img_id in img_ids:
    # 構建壁紙詳情頁的url地址
    # 字串格式化方法 format()
    link_url = f'http://www.netbian.com/desk/{img_id}-1920x1080.htm'
    print(link_url)

4. 發送請求把獲取到的圖片ID 出入圖片詳情頁url中

response_1 = requests.get(url=link_url, headers=headers)
selector = parsel.Selector(response_1.text)

5. 決議資料提取圖片地址以及圖片標題

img_url = selector.css('#endimg img::attr(src)').get()
title = selector.css('#endimg img::attr(title)').get()
print(response_1.text)

6. 保存資料

img_content = requests.get(url=img_url, headers=headers).content
with open('img\\' + title + '.jpg', mode='wb') as f:
    f.write(img_content)
    print(title, img_url)

7 .翻頁爬取

for page in range(2, 11):
    print(f'正在爬取第{page}頁的資料內容')

Python從零基礎入門到實戰系統教程、原始碼、視頻，想要資料集的同學也可以點這里

最后運行完整代碼

在這里插入圖片描述

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/297258.html

標籤：Python

上一篇：python之mud--基礎

下一篇：談談redis快取擊穿透和快取擊穿的區別，雪崩效應

Python爬蟲入門案例教學：批量爬取彼岸桌面4K超清美女壁紙