
前言
寫個知乎粉絲小爬蟲,分為資料爬取和資料的簡單可視化兩個部分,讓我們愉快地開始吧~
開發工具
Python版本:3.6.4
相關模塊:
scrapy模塊;
pyecharts==1.5.1模塊;
wordcloud模塊;
jieba模塊;
以及一些python自帶的模塊,
環境搭建
安裝Python并添加到環境變數,pip安裝需要的相關模塊即可,
資料爬取
先隨手推一波自己開源的利用requests進行模擬登錄的庫:
https://github.com/CharlesPikachu/DecryptLogin
目前該庫支持模擬登錄的網站包括:
1\. 微博
后續會不斷添加和完善該庫的功能以及該庫相關的一些小應用,當然,今天是用不上了,因為我發現他喵的知乎的粉絲資料竟然一直是一個裸的API,即使是改版之后,也不需要驗證什么登錄后的cookies之類的東西直接就能抓取到了,
言歸正傳,簡單說說這個資料怎么抓取吧,其實很簡單,F12打開開發者工具,重繪一下關注者頁面,就可以發現:

請求這個介面直接就能回傳目標用戶的粉絲資料了,介面的組成形式為:
https://www.zhihu.com/api/v4/members/{用戶域名}/followers?
沒有什么特別需要注意的地方,不用懷疑,就是這么簡單,scrapy新建一個專案爬就完事了:
scrapy startproject zhihuFansSpider
定義一下items:
class ZhihufansspiderItem(scrapy.Item):
然后新建并寫一個爬蟲主程式就OK啦:
'''知乎粉絲小爬蟲'''
運行以下命令開始爬取目標用戶的粉絲資料:
scrapy crawl zhihuFansSpider -o followers_info.json -t json
資料可視化
老規矩,可視化一下爬到資料唄(這里就以我自己知乎賬號的關注者資料為例好了T_T),
先畫個粉絲主頁標題的詞云壓壓驚?

應該算是很真實吧?[圖片上傳失敗...(image-b139c3-1617265093411)]
讓我們再來看看我的關注者里有多少VIP用戶?

好的,答案是0個~
再來看看follow我的人一般有多少followers唄:

最后再來看看粉絲的回答數統計唄:

文章到這里就結束了,感謝你的觀看,關注我每天分享Python模擬登錄系列,下篇文章分享爬取旅行家游記資訊,
為了感謝讀者們,我想把我最近收藏的一些編程干貨分享給大家,回饋每一個讀者,希望能幫到你們,
干貨主要有:
① 2000多本Python電子書(主流和經典的書籍應該都有了)
② Python標準庫資料(最全中文版)
③ 專案原始碼(四五十個有趣且經典的練手專案及原始碼)
④ Python基礎入門、爬蟲、web開發、大資料分析方面的視頻(適合小白學習)
⑤ Python學習路線圖(告別不入流的學習)
All done~完整源代碼+干貨詳見個人簡介或者私信獲取相關檔案,,
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/285584.html
標籤:Python
