聽說知乎大神用python爬取高顏值美女,是怎么操作的？-有解無憂

1 資料源

知憾訓題『美女』下所有問題中回答所出現的圖片

2 抓取工具

Python 3，并使用第三方庫 Requests、lxml、AipFace，代碼共 100 + 行

3 必要環境
- Mac / Linux / Windows （Linux 沒測過，理論上可以，Windows 之前較多反應出現例外，后查是 windows 對本地檔案名中的字符做了限制，已使用正則過濾）
- 無需登錄知乎（即無需提供知乎帳號密碼）
- 人臉檢測服務需要一個百度云帳號（即百度網盤 / 貼吧帳號）
  如果你剛學對代碼不是很熟，最好看講解比較生動的視頻方便自己理解，最好是看最新的，沒有的話，可以去小編Python學習裙：七衣衣九七七巴而五（數字的諧音）自己去里面下，多操作練習積累專案經驗才是王道，
4 人臉檢測庫

AipFace，由百度云 AI 開放平臺提供，是一個可以進行人臉檢測的 Python SDK，可以直接通過 HTTP 訪問，免費使用，

5 檢測過濾條件
- 過濾所有未出現人臉圖片（比如風景圖、未露臉身材照等）
- 過濾所有非女性（在抓取中，發現知乎男性圖片基本是明星，故不考慮；存在 AipFace 性別識別不準的情況）
- 過濾所有非真實人物，比如動漫人物（AipFace Human 置信度小于 0.6）
- 過濾所有顏值評分較低圖片（AipFace beauty 屬性小于 45，為了節省存盤空間；再次宣告，AipFace 評分無任何客觀性）
6 實作邏輯
- 通過 Requests 發起 HTTP 請求，獲取『美女』下的部分討論串列
- 通過 lxml 決議抓取到的每個討論中 HTML，獲取其中所有的 img 標簽相應的 src 屬性
- 通過 Requests 發起 HTTP 請求，下載 src 屬性指向圖片（不考慮動圖）
- 通過 AipFace 請求對圖片進行人臉檢測
- 判斷是否檢測到人臉，并使用『4 檢測過濾條件』過濾
- 將過濾后的圖片持久化到本地檔案系統，檔案名為顏值 + 作者 + 問題名 + 序號
- 回傳第一步，繼續
7 抓取結果

直接存放在檔案夾中（angelababy 實力出境），另外說句，目前抓下來的圖片，除 baby 外，88 分是最高分，個人對其中的排序表示反對，老婆竟然不是最高分

代碼

9 運行準備
- 安裝 Python 3，Download Python
- 安裝 requests、lxml、baidu-aip 庫，都可以通過 pip 安裝，一行命令
- 申請百度云檢測服務，免費，人臉識別-百度AI
  最后順便說下，不管你是為了Python就業還是興趣愛好，記住：專案經驗永遠是核心，如果你缺python新專案練習，去小編的Python交流.裙：七衣衣九七七巴而五（數字的諧音）轉換下可以找到了，里面很多新教程專案，還可以跟老司機交流討教！
  
  本文的文字及圖片來源于網路加上自己的想法,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/165602.html

標籤：Python

上一篇：機器視覺（4）--生成驗證碼

下一篇：python GIL