1.前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
PS：如有需要Python學習資料的小伙伴可以點擊下方鏈接自行獲取
Python免費學習資料、代碼以及交流解答點擊即可加入
最近愛奇藝獨播熱劇『贅婿』特別火，我也在一直追，借助手中的技術，想爬取彈幕分析該劇的具體情況以及網友的評論！
由于為了讓小白徹底學會使用python爬取愛奇藝彈幕的技術，因此本文詳細介紹如何進行爬取，下文再進行分析資料！
2.分析資料包
1.查找資料包
在瀏覽器里面按F12
找到這類url
https://cmts.iqiyi.com/bullet/54/00/7973227714515400_60_2_5f3b2e24.br
2.分析彈幕鏈接
其中的/54/00/7973227714515400，才是有用的！！！！
愛奇藝的彈幕獲取地址如下：
https://cmts.iqiyi.com/bullet/引數1_300_引數2.z
引數1是：/54/00/7973227714515400
引數2是：數字1、2、3.....
愛奇藝每5分鐘會加載新的彈幕，每一集約是46分鐘,46除以5向上取整就是10
因此彈幕的鏈接如下：
https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_1.z
https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_2.z
https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_3.z
......
https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_10.z
3.解碼二進制資料包
通過彈幕鏈接下載的彈幕包是以z為后綴格式的檔案，需要進行解碼！
def zipdecode(bulletold):
'對zip壓縮的二進制內容解碼成文本'
decode = zlib.decompress(bytearray(bulletold), 15 + 32).decode('utf-8')
return decode
解碼之后將資料保存成xml格式
# 把編碼好的檔案分別寫入個xml檔案中（類似于txt檔案），方便后邊取資料
with open('./lyc/zx' + str(x) + '.xml', 'a+', encoding='utf-8') as f:
f.write(xml)
3.決議xml
1.提取資料
通過查看xml檔案，我們需要提取的內容有1.用戶id（uid）、2.評論內容（content）、3.評論點贊數（likeCount），
#讀取xml檔案中的彈幕資料資料
from xml.dom.minidom import parse
import xml.dom.minidom
def xml_parse(file_name):
DOMTree = xml.dom.minidom.parse(file_name)
collection = DOMTree.documentElement
# 在集合中獲取所有entry資料
entrys = collection.getElementsByTagName("entry")
print(entrys)
result = []
for entry in entrys:
uid = entry.getElementsByTagName('uid')[0]
content = entry.getElementsByTagName('content')[0]
likeCount = entry.getElementsByTagName('likeCount')[0]
print(uid.childNodes[0].data)
print(content.childNodes[0].data)
print(likeCount.childNodes[0].data)
4.保存資料
1.保存前作業
import xlwt
# 創建一個workbook 設定編碼
workbook = xlwt.Workbook(encoding = 'utf-8')
# 創建一個worksheet
worksheet = workbook.add_sheet('sheet1')
# 寫入excel
# 引數對應 行, 列, 值
worksheet.write(0,0, label='uid')
worksheet.write(0,1, label='content')
worksheet.write(0,2, label='likeCount')
匯入xlwt庫（寫入csv），并定義好標題（uid、content、likeCount）
2.寫入資料
for entry in entrys:
uid = entry.getElementsByTagName('uid')[0]
content = entry.getElementsByTagName('content')[0]
likeCount = entry.getElementsByTagName('likeCount')[0]
print(uid.childNodes[0].data)
print(content.childNodes[0].data)
print(likeCount.childNodes[0].data)
# 寫入excel
# 引數對應 行, 列, 值
worksheet.write(count, 0, label=str(uid.childNodes[0].data))
worksheet.write(count, 1, label=str(content.childNodes[0].data))
worksheet.write(count, 2, label=str(likeCount.childNodes[0].data))
count=count+1
最后保存成彈幕資料集.xls
for x in range(1,11):
l = xml_parse("./lyc/zx" + str(x) + ".xml")
# 保存
workbook.save('彈幕資料集.xls')
5.總結
1.通過實戰案例『贅婿』，手把手實作python爬取愛奇藝彈幕，
2.python決議xml格式資料，
3.將資料寫入excel，
本文相關資料：
https://github.com/bigtigeryo/iqiyidanmu
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/266910.html
標籤：Python