【python零基礎爬蟲入門】，爬取百度圖片，小孩子也能學會
先上效果圖
需要頭檔案
import re
import requests
import os
因為爬蟲需要用到請求網路部分，所以需要這兩個包，沒有的話自行下載即可，
請求頭
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
完整的請求
url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=='+name+'+&pn='+str(i*30)
result = requests.get(url,headers=headers)
dowmloadPic(result.content.decode(), name)
得到了html之后需要用到正則運算式
pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
最后直接把請求到的圖片下載好就行
fp = open(dir, 'wb')
fp.write(pic.content)
fp.close()
完整代碼：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import re
import requests
import os
def dowmloadPic(html, keyword,i):
pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
abc=i*60
print('找到關鍵詞:' + keyword + '的圖片，現在開始下載圖片...')
for each in pic_url:
print('正在下載第' + str(abc) + '張圖片，圖片地址:' + str(each))
try:
pic = requests.get(each, timeout=10)
except requests.exceptions.ConnectionError:
print('【錯誤】當前圖片無法下載')
continue
dir = r'D:\image\i' + keyword + '_' + str(abc) + '.jpg'
if not os.path.exists('D:\image'):
os.makedirs('D:\image')
fp = open(dir, 'wb')
fp.write(pic.content)
fp.close()
abc += 1
if __name__ == '__main__':
#word = input("Input key word: ")
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'}
name = input('輸入下載圖片的名字')
num = 0
x = input('您要爬取幾張呢?，n*60')
for i in range(int(x)):
url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=='+name+'+&pn='+str(i*30)
result = requests.get(url,headers=headers)
dowmloadPic(result.content.decode(), name,i)
print("下載完成")
有想學爬蟲的小伙伴也可以找我交流一下，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/278872.html
標籤：python