本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
以下文章來源于早起Python ，作者早起Python
轉載于
https://mp.weixin.qq.com/s?src=https://www.cnblogs.com/hhh188764/p/11譼amp=1600153733&ver=2585&signature=qiRlZpT8etc29k*HoQqLW*wXgJ0MAPwregBQ5HY12jAHI9YWXfTbMCJ83qr2PNpybbYMUk6g4BsgAO4PQJeCiW5qRv5ll8t11GDaWCGIeQD46rOQlN6aRBzfS1QnawGe&new=1你用過騰訊微博嗎？9月4日，騰訊微博團隊突然發布公告稱，將于9月28日停止服務和運營，此條訊息一出，新浪微博立馬安排了一條熱搜并引發網友熱議！
部分用戶很震驚騰訊微博居然關了，也有些用戶很震驚騰訊微博居然還活著，還有部分用戶甚至不知道騰訊微博的存在，騰訊微博已經被淹沒在互聯網的長流中，但互聯網是有記憶的，本文就將通過Python爬取歷史資料，嘗試探索背靠數億流量的騰訊微博是如何一步步退出舞臺，
為了研究騰訊微博的歷史資料，很自然的就想到從網頁入手，但是讓人遺憾的是，雖然官方公告說9月28日正式停止運營，實際上大概在去年就幾乎打不開了
而就算經過不斷嘗試成功打開頁面，你會發現除了報錯代碼后什么內容都沒有，也無法登陸，那既然官方網站這條路走不通，要怎樣才能找到騰訊微博的歷史資料呢？
我們都知道搜索引擎在收錄網頁時，會對網頁進行備份，以網頁快照的形式存在自己的服務器快取里，這樣我們就可以通過點擊網頁快照來查看網站的歷史狀態，除了搜索引擎，還有一些網站會對互聯網做備份，比如Wayback Machine
https://web.archive.org/自從1996年以來，Wayback Machine就在給整個互聯網做備份，現在已經保存了3300億網頁，所以現在讓我們搭乘網頁時光機回到十年前吧！
時光機
首先打開上述網站(國內暫時無法直接訪問，請自行探索解決辦法)并在地址欄輸入t.qq.com
按下回車之后就會顯示該網站收錄的騰訊微博全部歷史網頁
并且自2010年2月1日以來，共采集了86942條歷史快照，打開2012年的某一條微博
除了滿滿的年代感就是對青春的回憶，并且可以看到該網站對于騰訊微博最新的記錄是2020.9.10，可能這條關停通知就是騰訊微博最終的畫面
但是互聯網的記憶不會被時間磨滅，現在我們將使用Python爬取Wayback Machine網站資料并進行分析，本節將不會對爬取程序做過多說明，詳細的技術決議會在下一節進行講解，
歷史快照總量對比
如果一個網站熱度越高，那么被收錄的次數就越多，首先來看對新浪微博與騰訊微博歷史快照的總量進行分析
我們可以看到，在這10年間新浪微博的歷史快照是騰訊微博的近2倍，而將資料單獨拆開來看的話，從2010年兩個微博網站被收錄以來，新浪微博就以碾壓的姿勢超越騰訊微博，在2012年兩者的新增快照數量均達到最高值，然后趨于穩定，
快照內容拆解分析
除了對比歷史快照數總量，所有的快照都是由一個個HTML檔案組成，現在我們將所有的快照內容進行拆解分析
可以看到，每一個快照檔案中，新浪微博除了html文本，還有一部分為應用、圖片、音視頻等多樣化內容，而騰訊微博基本上就是html文本組成，是不是和和QQ空間有種同樣的感覺，而微博卻應該給用戶提供一個不一樣的發聲平臺，這可能也是騰訊微博不敵新浪微博的一點因素，
粉絲活躍度分析
為了研究背靠龐大QQ流量的騰訊微博是在哪一年開始下滑，本小節將基于主持人何炅的騰訊微博歷史資料(頭部大V、2012年騰訊微博熱門第一名，有較多的歷史資料)進行分析，使用Python爬取該網站收錄的何炅的全部歷史微博
一共采集到1506條微博，每條微博分別有5條欄位：
- 年份
- 發博日期
- 內容
- 粉絲量
- 粉絲互動量(轉發與評論)
先對何炅的粉絲量變化進行可視化
可以看到何炅粉絲主要增長集中在2012年間，但增勢放緩也發生在2012年末，因此2012年對于騰訊微博來說是非常關鍵的一年，在大量吸收粉絲后卻沒能留住粉絲，我們接著通過粉絲互動率來分析
通過對近十年粉絲的轉發回復數量進行計算得到粉絲互動率，可以發現2012年依舊是騰訊微博最輝煌的一年，單條微博的互動率最高達到近2%，而后在2013年迅速下滑至0.19%，降低了10倍之多，
技術決議
本節我們將用Python示例如何爬取何炅的歷史微博，使用到的庫有:
- requests
- pandas
- bs4
- waybackpack
首先打開https://web.archive.org/并搜索t.qq.com/hejiong
如上圖所示，一共收錄了何炅的107條騰訊微博歷史資料，很自然的就想到如何把這些URL提取出來，此時我們只需要使用pip安裝waybackpack庫，并在Jupyter notebook中執行
! waybackpack t.qq.com/hejiong --list該命令就會回傳全部的URL，注意執行該命令依舊需要自行解決國內無法訪問的問題
現在我們打開第一個網站并F12，按照下圖的指示找到存盤微博資料的資料包
接下來就是遍歷每一個url，使用requests構造請求，接著使用bs4決議資料，再使用pandas清洗存盤資料即可
weibo_hejiong = pd.DataFrame(columns=['年份','日期','內容','粉絲量','粉絲互動量'])
for i in range(len(url_hejiong)):
url = url_hejiong[i]
res = requests.get(url=url,headers = headers)
soup = BeautifulSoup(res.text)
followNum = soup.find_all('strong',class_ = "followNum")[0].text #粉絲數
year = url[28:32] #年份
wb_time = soup.find_all('a',class_ = 'time')[::-1] #發博時間
wb_text = soup.find_all('div',class_="msgCnt")[::-1] #博客內容
wb_relayNum = soup.find_all('b',class_="relayNum")[::-1] #互動量
[wb_time.remove(k) for k in wb_time if 'rel' in str(k)]
[wb_text.remove(k) for k in wb_text if 'strong' in str(k)]
for j in range(len(wb_time)):
wb_time_t = wb_time[j].text
wb_text_t = wb_text[j].text
wb_relayNum_t = wb_relayNum[j].text
data = pd.Series([year,wb_time_t, wb_text_t, followNum, wb_relayNum_t], index = weibo_hejiong.columns)
weibo_hejiong = weibo_hejiong.append(data,ignore_index=True)轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/48271.html
標籤：Python
下一篇：多執行緒小案例