一、背景介紹
二、爬蟲代碼
- 2.1 展示爬取結果
- 2.2 爬蟲代碼講解
三、可視化代碼
- 3.1 讀取資料
- 3.2 資料清洗
- 3.3 可視化
  - 3.3.1 IP屬地分析-柱形圖
  - 3.3.2 評論時間分析-折線圖
  - 3.3.3 點贊數分布-箱線圖
  - 3.3.4 評論內容-情感分布餅圖
  - 3.3.5 評論內容-詞云圖
四、技術總結
五、演示視頻
六、完整原始碼

一、背景介紹

您好，我是@馬哥python說，一枚10年程式猿，

自從2023.3月以來，"淄博燒烤"現象持續占領熱搜流量，體現了后疫情時代眾多網友對人間煙火氣的美好向往，本現象級事件存在一定的資料分析實踐意義，

我用Python爬取并分析了B站眾多網友的評論，并得出一系列分析結論，

二、爬蟲代碼

2.1 展示爬取結果

首先，看下部分爬取資料：
爬取結果

爬取欄位含：視頻鏈接、評論頁碼、評論作者、評論時間、IP屬地、點贊數、評論內容，

2.2 爬蟲代碼講解

匯入需要用到的庫：

import requests  # 發送請求
import pandas as pd  # 保存csv檔案
import os  # 判斷檔案是否存在
import time
from time import sleep  # 設定等待，防止反爬
import random  # 生成亂數

定義一個請求頭：

# 請求頭
headers = {
    'authority': 'api.bilibili.com',
    'accept': 'application/json, text/plain, */*',
    'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    # 需定期更換cookie，否則location爬不到
    'cookie': "需換成自己的cookie值",
    'origin': 'https://www.bilibili.com',
    'referer': 'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548',
    'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-site',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47'
}

請求頭中的cookie是個很關鍵的引數，如果不設定cookie，會導致資料殘缺或無法爬取到資料，

那么cookie如何獲取呢？打開開發者模式，見下圖：
獲取cookie方式

由于評論時間是個十位數：
ctime

所以開發一個函式用于轉換時間格式：

def trans_date(v_timestamp):
    """10位時間戳轉換為時間字串"""
    timeArray = time.localtime(v_timestamp)
    otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
    return otherStyleTime

向B站發送請求：

response = requests.get(url, headers=headers, )  # 發送請求

接收到回傳資料了，怎么決議資料呢？看一下json資料結構：
json回傳資料

0-19個評論，都存放在replies下面，replies又在data下面，所以，這樣決議資料：

data_list = response.json()['data']['replies']  # 決議評論資料

這樣，data_list里面就是存盤的每條評論資料了，

接下來嗎，就是決議出每條評論里的各個欄位了，

我們以評論內容這個欄位為例：

comment_list = []  # 評論內容空串列
# 回圈爬取每一條評論資料
for a in data_list:
    # 評論內容
    comment = a['content']['message']
    comment_list.append(comment)

其他欄位同理，不再贅述，

最后，把這些串列資料保存到DataFrame里面，再to_csv保存到csv檔案，持久化存盤完成：

# 把串列拼裝為DataFrame資料
df = pd.DataFrame({
    '視頻鏈接': 'https://www.bilibili.com/video/' + v_bid,
    '評論頁碼': (i + 1),
    '評論作者': user_list,
    '評論時間': time_list,
    'IP屬地': location_list,
    '點贊數': like_list,
    '評論內容': comment_list,
})
# 把評論資料保存到csv檔案
df.to_csv(outfile, mode='a+', encoding='utf_8_sig', index=False, header=header)

注意，加上encoding='utf_8_sig'，否則可能會產生亂碼問題！
下面，是主函式回圈爬取部分代碼：（支持多個視頻的回圈爬取）

# 隨便找了幾個"淄博燒烤"相關的視頻ID
bid_list = ['BV1dT411p7Kd', 'BV1Ak4y1n7Zb', 'BV1BX4y1m7jP']
# 評論最大爬取頁（每頁20條評論）
max_page = 30
# 回圈爬取這幾個視頻的評論
for bid in bid_list:
    # 輸出檔案名
    outfile = 'b站評論_{}.csv'.format(now)
    # 轉換aid
    aid = bv2av(bid=bid)
    # 爬取評論
    get_comment(v_aid=aid, v_bid=bid)