目錄
- Python爬蟲
- 配置Charles
- 設定手機代理服務器
- 安裝證書
- 安裝PC證書
- 安裝Android手機證書
Python爬蟲
對于現在的爬蟲程式來說，PC端網頁資料往往并不理想，比如就拿CSDN來說，一篇帖子是否上熱榜其根據的是App端資料，并不是PC端網頁資料，
這也是時代的進步，從PC端到移動端，而且還有像小紅書一樣的App，其根本不提供PC端網頁，只有App，要爬取這些資料，普通的Python爬蟲肯定已經淘汰，
所以，我們需要借助Charles來抓取手機的HTTP與HTTPS資料包，盡然要通過Charles軟體來抓取，我們首先要做的就是安裝它，下載地址如下：
https://www.charlesproxy.com/latest-release/download.do
然后點擊對應的作業系統進行下載即可，
配置Charles
安裝完成之后，我們并不能直接獲取App端的資料，因為你的手機互動并不會發送資料到Charles軟體，所以，我們需要一系列的設定，
設定手機代理服務器
首先，我們運行Charles軟體，選擇Proxy-Proxy Settrings，在彈出的對話框之中設定如下資訊：
接著，我們需要進入手機的WIFI中，設定連接的代理服務器，你需要查看的電腦安裝Charles軟體的局域網IP，同時設定成剛才的8888介面，
當這些步驟完成之后，你的手機打開任何一個進行網路互動的App都能捕獲其網路請求，比如博主這里打開的微博，效果如下：
安裝證書
不過，因為微博資料并不是HTTP請求，而是HTTPS請求，所有，我們需要安裝證書后才能進行決議操作，具體的步驟如下：
安裝PC證書
想通過Charles軟體監聽HTTPS資料，必須在PC端與手機端同時安裝相應的證書，
在PC端安裝的步驟：Charles軟體-Help-SSL Proxying-Install Charles Root Certificate，效果圖如下所示：
接著，點擊安裝證書，然后點擊選擇本地計算機，最后選擇首信任的設備即可完成安裝，具體步驟如下：
到這里，我們電腦端的證書就已經安裝完成，
安裝Android手機證書
接著，我們需要安裝Android手機證書，具體步驟如下：
首先，在瀏覽器中輸入http://chls.pro/ssl，或默認下載手機證書，你選擇下載位置，然后匯入到手機即可，
接著，我們在Android的設定中搜索證書，然后點擊安裝證書，在檔案夾中找到對應的證書進行安裝即可，
到這里，我們就可以獲取到真實的資訊了，再也不是unknown，但是，并不是到這里我們就可以獲取真實的資訊，因為現在顯示的有可能是亂碼，
我們需要前往Proxy – > SSL Proxying Aetting – > 在SSL Proxying 標簽下勾選Enable SSL P roxying，然后Add 添加Location資訊，如下所示：
添加完成之后，我們進入京東的秒殺頁面，可以得到如下資訊資料，這里都是中文，也是json資料格式，如下所示：
到這里，PC端與Android移動端的證書都安裝成功了，現在可以分析具體的App請求資料，然后根據這些資料進行爬蟲的開發與分析，
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/294510.html
標籤：其他