【Part1——理論篇】
試想一個問題，如果我們要抓取某個微博大V微博的評論資料，應該怎么實作呢？最簡單的做法就是找到微博評論資料介面，然后通過改變引數來獲取最新資料并保存，首先從微博api尋找抓取評論的介面，如下圖所示，
但是很不幸，該介面頻率受限，抓不了幾次就被禁了，還沒有開始起飛，就涼涼了，
接下來小編又選擇微博的移動端網站，先登錄，然后找到我們想要抓取評論的微博，打開瀏覽器自帶流量分析工具，一直下拉評論，找到評論資料介面，如下圖所示，
之后點擊“引數”選項卡，可以看到引數為下圖所示的內容：
可以看到總共有4個引數，其中第1、2個引數為該條微博的id，就像人的身份證號一樣，這個相當于該條微博的“身份證號”，max_id是變換頁碼的引數，每次都要變化，下次的max_id引數值在本次請求的回傳資料中，
【Part2——實戰篇】
有了上文的基礎之后，下面我們開始擼代碼，使用Python進行實作，
1、首先區分url，第一次不需要max_id,第二次需要用第一次回傳的max_id，
2、請求的時候需要帶上cookie資料，微博cookie的有效期比較長，足夠抓一條微博的評論資料了，cookie資料可以從瀏覽器分析工具中找到，
3、然后將回傳資料轉換成json格式，取出評論內容、評論者昵稱和評論時間等資料，輸出結果如下圖所示，
4、為了保存評論內容，我們要將評論中的表情去掉，使用正則運算式進行處理，如下圖所示，
5、之后接著把內容保存到txt檔案中，使用簡單的open函式進行實作，如下圖所示，
6、重點來了，通過此介面最多只能回傳16頁的資料（每頁20條），網上也有說回傳50頁的，但是介面不同、回傳的資料條數也不同，所以我加了個for回圈，一步到位，遍歷還是很給力的，如下圖所示，
7、這里把函式命名為job，為了能夠一直取出最新的資料，我們可以用schedule給程式加個定時功能，每隔10分鐘或者半個小時抓1次，如下圖所示，
8、對獲取到的資料，做去重處理，如下圖所示，如果評論已經在里邊的話，就直接pass掉，如果沒有的話，繼續追加即可，
這項作業到此就基本完成了，
【Part3——總結篇】
這種方法雖然抓不全資料，但在這種微博的限制條件下，也是一種比較有效的方法，
最后如果您需要本文代碼的話，請在后臺回復“微博”二字，覺得不錯，記得給個star噢~
看完本文有識訓？請轉發分享給更多的人
IT共享之家
入群請在微信后臺回復【入群】
想學習更多Python網路爬蟲與資料挖掘知識，可前往專業網站：http://pdcfighting.com/
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/125464.html
標籤：Python
下一篇：二維陣列的切片和索引