現在大家的生活中，已經越來越離不開B站了，
2020年的第一季度，B站月活躍用戶達到了1.72億，榷訓躍用戶也已經突破了5000萬個用戶，
源源不斷的流量讓B站的up主們也是粉絲數目不斷暴漲，百萬粉絲的up主比比皆是，
今天，我就帶領大家來爬取并分析一下B站的最熱視頻排行榜，看看大家究竟都喜歡看什么樣子的視頻～～
需求分析
對于榜單的爬取，我們爬取了榜單的top100視頻的
排名、標題、視頻鏈接、播放量、彈幕數量、作者、綜合得分和作者詳情頁
等資訊，
網頁分析
首先我們打開瀏覽器開發者模式如下，所有的資訊我們都可以在右邊所在的ul標簽之中找到，
所以我們先獲頁面資訊，然后使用xpath來獲取這些標簽資訊，
發送請求
Python插件\學習\資料Q群：906715085#### url = 'https://www.bilibili.com/v/popular/rank/all' headers = { "cookie": "_uuid=7D3DFA6C-6EB1-F72A-632B-C9AF9B9AD4C627183infoc; buvid3=D25672DE-BD2D-4E7C-B79E-DB356316D023167639infoc; sid=aylq5kgg; fingerprint=84acc3579a53d0eba78d769e71574df6; buvid_fp=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; buvid_fp_plain=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; DedeUserID=434541726; DedeUserID__ckMd5=448fda6ab5098e5e; SESSDATA=https://www.cnblogs.com/123456feng/p/78a505c8%2C1643594982%2Cdfa35*81; bili_jct=1d9f4e960fb0ae7fe1de53663029874b; bsource=search_baidu; CURRENT_FNVAL=80; blackside_state=1; rpdid=|(u)YJR~R~)m0J'uYk)ku)~~)", "referer": "https://www.bilibili.com/", "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.8 Safari/537.36" } resp = requests.get(url, headers = headers, timeout=15) ic(resp.text)
獲取瀏覽器回應資訊
接下來我們使用xpath獲取標簽內部的資訊
for li in lis: # 排名 sort = li.xpath("./div[@class='num']/text()") sort = ''.join(sort) # 作者 author = li.xpath("./div[@class='content']/div[@class='info']/div[@class='detail']/a/span[@class='data-box up-name']/text()") author = ''.join(author).strip() # 綜合得分 score = li.xpath("./div[@class='content']/div[@class='info']/div[@class='pts']/div/text()") score = ''.join(score) # 視頻標題 title = li.xpath("./div[@class='content']/div[@class='info']/a[@class='title']/text()") title = ''.join(title) # 視頻鏈接 links = li.xpath("./div[@class='content']/div[@class='img']/a/@href") links = ''.join(links).strip()[2:] # 播放數量 video_num = li.xpath("./div[@class='content']/div[@class='info']/div[@class='detail']/span[@class='data-box'][1]/text()") video_num = ''.join(video_num).strip() # 彈幕數量 barrage_num = li.xpath("./div[@class='content']/div[@class='info']/div[@class='detail']/span[@class='data-box'][2]/text()") barrage_num = ''.join(barrage_num).strip() # 作者詳情 detail_auth = li.xpath(".//div[@class='content']/div[@class='info']/div[@class='detail']/a/@href") detail_auth = ['https:' + i for i in detail_auth] detail_auth = ''.join(detail_auth) ic(sort, author, score, title,links, video_num, barrage_num, detail_auth)
部分資訊如下：
資料保存
接下來我們使用openpyxl模塊將獲取到的這些資訊保存到excel中、
便于后續的資料處理和可視化
ws = op.Workbook() wb = ws.create_sheet(index=0) wb.cell(row=1, column=1, value=https://www.cnblogs.com/123456feng/p/'排名') wb.cell(row=1, column=2, value=https://www.cnblogs.com/123456feng/p/'作者') wb.cell(row=1, column=3, value=https://www.cnblogs.com/123456feng/p/'綜合得分') wb.cell(row=1, column=4, value=https://www.cnblogs.com/123456feng/p/'視頻標題') wb.cell(row=1, column=5, value=https://www.cnblogs.com/123456feng/p/'視頻鏈接') wb.cell(row=1, column=6, value=https://www.cnblogs.com/123456feng/p/'播放數量') wb.cell(row=1, column=7, value=https://www.cnblogs.com/123456feng/p/'彈幕數量') wb.cell(row=1, column=8, value=https://www.cnblogs.com/123456feng/p/'作者詳情') ws.save('嗶哩嗶哩Top100.xlsx')
資料處理
我們在處理資料的時候發現，有些資料的單位格式是不一致的，如下：
有些是個為單位，有些是以萬為單位，
并且我們要將數字后面的’萬‘字去掉，將字串格式的數字轉為數字型別的才便于后續的可視化操作，
這里我們處理資料使用的是pandas，有不明白的小伙伴可以看看這份教程，這個是我自己總結的一份實用性很高的熊貓檔案，
讓人無法拒絕的pandas技巧，簡單卻好用到爆！
# 讀取資料 df = pd.read_excel('嗶哩嗶哩Top100.xlsx') # 洗掉空格 pd_data = https://www.cnblogs.com/123456feng/p/df.dropna(subset=['播放數量', '彈幕數量']) # 格式化資料播放數量 # 去除’萬‘ pd_data['播放數量'] = pd_data['播放數量'].str.replace('萬', '') # 轉換格式 萬->10000 pd_data['彈幕數量'] = pd_data['彈幕數量'].map(lambda x: float(x[:-1]) * 10000 if ('萬' in x) else float(x)) # 處理后的資料另存為 pd_data.to_excel('嗶哩嗶哩Top101.xlsx')
紅色是處理之前的資料
綠色是處理之后的資料
我們已經將字串型別的數字轉換成子型別
并且統一數字單位
接下來我們要找出最多評論的視頻和最多彈幕的視頻
看看它們為什么這么受歡迎？
# 最多播放 max_video_num = rcv_data[rcv_data['播放數量'] == rcv_data['播放數量'].max()] ic(max_video_num) # 最多彈幕 max_cmts_num = rcv_data[rcv_data['彈幕數量'] == rcv_data['彈幕數量'].max()] ic(max_cmts_num) ''' ic| max_video_num: Unnamed: 0 排名 作者 綜合得分 視頻標題 視頻鏈接 播放數量 彈幕數量 作者詳情 0 0 1 綿羊料理 4742269 一顆檸檬賣100塊？？美食up主：那是成本！ www.bilibili.com/video/BV1vq4y1Q7TC 445.3 20000 https://space.bilibili.com/18202105 ic| max_bag_num: Unnamed: 0 排名 作者 綜合得分 視頻標題 視頻鏈接 播放數量 彈幕數量 作者詳情 19 19 20 爆裂吧葉子 2320837 《B 站 各 等 級 用 戶 現 狀 ！》 www.bilibili.com/video/BV1t64y1B7Kz 252.7 84000 https://space.bilibili.com/24450484 '''
這個是播放了最多的視頻，
檸檬這么貴是因為小姐姐長得好看么
再來看看彈幕最多的視頻
說的啥，大家可以看看,還是相當不錯的.
最后我們用的水滴圖看一下綜合得分占比情況
# 平均數 mean_score = rcv_data['綜合得分'].mean() # 最大值 max_score = rcv_data['綜合得分'].max() #ic(mean_score/max_score) ''' ic| mean_score/max_score: 0.39690731166873916 '''
最后
這一篇為大家分享的B站到這里就沒有了，不知道小伙伴們學會了沒有，不管學沒學會都給我點一個贊吧，畢竟密密麻麻的代碼也是夠辛苦的啦，到這里就結束了，下一篇見，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/457533.html
標籤：Python
上一篇：郵件任務-springboot
下一篇：【Python】破解摩斯密碼