前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理
本次目標
爬取全民小視頻
https://quanmin.baidu.com/確定目標網頁
選擇影視類目
右鍵選擇檢查，開發開發者工具
選擇 Network，網頁往下滑，可以看到資料加載
- 視頻地址
- 視頻名字
- 視頻ID
介面資料鏈接是通過pn的變化，實作翻頁效果
如果想要爬取其他分類視頻，把引數中tab_name 更改即可
環境
- Python3.6
- pycharm
開始代碼
匯入工具
import pprint import requests
相關庫可以用 pip install 安裝
請求、決議、爬取網頁資料，并保存
url = 'https://quanmin.baidu.com/wise/growth/api/home/tabmorelist' for page in range(1, 100): params = { 'rn': '12', 'pn': '{}'.format(page), 'timestamp': '1603442730716', 'session_id': '1603442719704', 'tab_name': 'movie', '_format': 'json', } headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, params=params, headers=headers) html_data = response.json() lis = html_data['data']['list']['video_list'] for li in lis: play_url = li['play_url'] title = li['title'] filename = 'C:\\Users\\Administrator\\Desktop\\新建檔案夾\\' + title + '.mp4' response_2 = requests.get(url=play_url, headers=headers) with open(filename, mode='wb') as f: f.write(response_2.content) print(title, play_url)
運行代碼，效果如下
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/188305.html
標籤：Python
上一篇：出Bug表-假如諸葛亮是程式員（1024程式員節日獻禮）
下一篇：面向物件、類