目錄
- 一、爬取目標
- 二、展示爬取結果
- 三、講解代碼
- 四、同步視頻
- 五、附完整原始碼
一、爬取目標
大家好，我是@馬哥python說 ，一枚10年程式猿，
今天分享一期python爬蟲案例，爬取目標是大麥網近期演出活動：- 大麥搜索
二、展示爬取結果
爬取結果截圖：
含10個欄位：
頁碼，演出標題，鏈接地址，演出時間，演出城市，演出地點，售價，演出類別，演出子類別，售票狀態，
演示視頻：【Python爬蟲演示】爬取大麥網任意城市的近期演出！
以上，
三、講解代碼
首先，匯入需要用到的庫：
import pandas as pd
import requests
import os
import datetime
from time import sleep
import random
定義一個請求頭：
# 設定請求頭資訊
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
'Cookie': '換成自己的cookie',
'X-Xsrf-Token': '7d065ac9-b924-4c14-869a-ab599b571244',
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'en-US,en;q=0.9,zh;q=0.8,zh-CN;q=0.7',
'Bx-V': '2.5.0',
'Referer': 'https://search.damai.cn/search.htm?spm=a2oeg.home.category.ditem_0.591b23e1HxE6Vj&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&order=1&cty=%E6%88%90%E9%83%BD',
'Sec-Ch-Ua': '"Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"',
'Sec-Ch-Ua-Mobile': '?0',
'Sec-Ch-Ua-Platform': "macOS",
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-origin',
}
其中，cookie的獲取方式如下：
定義請求地址url：
# 請求地址
url = 'https://search.damai.cn/searchajax.html'
定義請求引數params，從PayLoad中獲取：
發送請求，并且用json格式決議資料：
# 發送請求
r = requests.get(url, headers=headers, params=params)
# 決議資料
json_data = https://www.cnblogs.com/mashukui/archive/2023/06/25/r.json()
以"演出標題"欄位為例：
for data in json_data['pageData']['resultData']:
# 演出標題
title = data['nameNoHtml']
title_list.append(title)
print('演出標題：', title)
其他欄位同理，不再贅述，
最后是保存到csv檔案：
df = pd.DataFrame(
{
'頁碼': page,
'演出標題': title_list,
'鏈接地址': href_list,
'演出時間': time_list,
'演出城市': city_list,
'演出地點': loc_list,
'售價': price_list,
'演出類別': category_list,
'演出子類別': subcategory_list,
'售票狀態': status_list,
}
)
# 保存到csv檔案
df.to_csv(result_file, encoding='utf_8_sig', mode='a+', index=False, header=header)
其中，encoding引數設定為utf_8_sig，目的是防止csv檔案產生亂碼，不便讀取，
整個代碼中，還含有：設定sleep隨機等待、判斷回圈停止條件、防止多次寫入表頭、用戶input輸入過濾條件、往csv檔案名添加時間戳等功能，篇幅有限，詳細請見原始代碼，
四、同步視頻
代碼演示視頻：
【Python爬蟲演示】爬取大麥網任意城市的近期演出！
五、附完整原始碼
完整原始碼獲取：【爬蟲案例】用Python爬大麥網任意城市演出活動
我是@馬哥python說 ，持續分享python原始碼干貨中！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/555860.html
標籤：其他
上一篇：[ARM 匯編]高級部分—性能優化與除錯—3.4.2 ARM匯編程式除錯技巧
下一篇：返回列表