前言
網路上的資訊很多，有的時候我們需要關鍵字搜索才可以快速方便的找到我們需要的資訊，今天我們實作搜索關鍵字爬取堆糖網上相關的美圖，零基礎學會通用爬蟲，當然我們還可以實作多執行緒爬蟲，加快爬蟲爬取速度
環境：
windows
pycharm
python3
匯入模塊
import urllib.parse import json import requests import jsonpath
確定目標網址
url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'
分析網站，確定爬取目標
label = '美女' label = urllib.parse.quote(label)
發送請求，提取資料
num = 0 for index in range(0,2400,24): u = url.format(label,index) we_data = requests.get(u).text
型別轉換
html = json.loads(we_data) photo = jsonpath.jsonpath(html,"$..path")
保存資料
for i in photo: a = requests.get(i) with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f: f.write(a.content) # 二進制 num += 1
運行代碼，效果如下圖：
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/103793.html
標籤：Python
上一篇：121.買賣股票的最佳時機