#### 準備
要爬的網站是圖蟲網
工具：python 2.7，BeautifulSoup4
注意：BeautifulSoup4為第三方類別庫，如果在cmd下用pip安裝報錯，可直接去官網下載，解壓后拷貝到python安裝目錄中的lib目錄下，通過cmd進入插件的目錄，輸入python setup.py install,即可安裝，
#### 分析
爬蟲的人口頁為： [https://tuchong.com/explore/](https://link.jianshu.com?t=https://tuchong.com/explore/)
可以看到這頁的每張圖片都代表一個題材，點進去后就是這個題材下所有的相冊，如下圖，
打開相冊后發現相冊里的圖片都是用js加載的，面對這種情況可以自己分析js，用Request發送請求獲取資料，也可以用一些模擬js行為的庫來抓取資料,但這樣對cpu和記憶體的消耗會增大，抓取速度也很慢，如非必要建議不使用，
以下是爬蟲的核心代碼，先決議出所有題材的url地址，然后爬蟲回圈爬取每個題材的封面照片，
#### 運行
下面讓我們的爬蟲跑起來，我運行在了服務器上了，大家可以直接通過瀏覽器訪問爬取的結果，
一段時間后運行完畢，打開生成的page檔案夾,看到爬蟲為我們生成的html頁面，可以通過下面這個url訪問 (ps: 每個網頁大約50M，流量黨慎入，)
[http://114.215.141.86/zs/spider/page/%E5%B0%91%E5%A5%B3.html](https://link.jianshu.com?t=http://114.215.141.86/zs/spider/page/%E5%B0%91%E5%A5%B3.html)
#### 最后
這個網站很簡單，不需要登錄驗證碼，連請求頭都不用寫，爬蟲也沒有寫的太暴力，只是保存了圖片的url地址，并沒有抓取到本地，別對人家服務器造成壓力麻，
###現在還有大禮包免費贈送
###推薦一下我建的python學習交流扣扣qun：850973621，群里有免費的視頻教程，開發工具、
###電子書籍、專案原始碼分享，學習python web、python爬蟲、資料分析、大資料，人工智能等
###技術有不懂的可以加入一起交流學習，一起進步！
作者：鐘聲博客
鏈接：https://www.jianshu.com/p/15e2dd81636a
來源：簡書
著作權歸作者所有，商業轉載請聯系作者獲得授權，非商業轉載請注明出處，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/232301.html
標籤：Python