
前言
利用Scrapy框架爬取并簡單分析安居客租房資訊,讓我們愉快地開始吧~
開發工具
Python版本:3.6.4
相關模塊:
scrapy模塊;
pyecharts模塊;
以及一些Python自帶的模塊,
環境搭建
安裝Python并添加到環境變數,pip安裝需要的相關模塊即可,
原理簡介
這依舊是scrapy爬蟲框架的一個簡單應用,然后加了點資料可視化分析,
首先還是先新建一個爬蟲專案:
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-LR1V3BLF-1617415512941)(https://upload-images.jianshu.io/upload_images/2539976-2a2bc246fb424e04?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]
我們需要爬的網站是:

我選的上海,想爬的資訊大概是這些:

先定義一下要爬取的內容(items.py):

然后隨便設定一下(settings.py):

最后寫下我們的爬蟲代碼(spider.py):

好的,我們很輕松地寫完了我們的爬蟲代碼,完整爬蟲專案詳見個人簡介獲取相關檔案,
資料分析
首先讓我們來看看想租上海的房子,大概每個月需要多少錢:
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Czc7wVo6-1617415512952)(https://upload-images.jianshu.io/upload_images/2539976-5cca19094461bd9b?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

把房價除以面積可能更客觀一點:
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Zc6iUfaZ-1617415512954)(https://upload-images.jianshu.io/upload_images/2539976-40971810439d591c?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]
再來看看這些房子的朝向吧:

向南的挺多~
還有住房型別:

文章到這里就結束了,感謝你的觀看,關注我每天分享Python模擬登錄系列,下篇文章分享Python獲取IP地址對應的地理位置資訊,
為了感謝讀者們,我想把我最近收藏的一些編程干貨分享給大家,回饋每一個讀者,希望能幫到你們,
干貨主要有:
① 2000多本Python電子書(主流和經典的書籍應該都有了)
② Python標準庫資料(最全中文版)
③ 專案原始碼(四五十個有趣且經典的練手專案及原始碼)
④ Python基礎入門、爬蟲、web開發、大資料分析方面的視頻(適合小白學習)
⑤ Python學習路線圖(告別不入流的學習)
All done~完整源代碼+干貨詳見個人簡介或者私信獲取相關檔案,,
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/285601.html
標籤:Python
