前言
今天來使用爬蟲技術,爬取全國315個城市的房價資訊,
大家都知道 房價資訊是非常有價值的,敏感的,對于一些人來說是投資賺錢的一種重要渠道,能夠及時的獲取房價漲跌資訊,甚至用大資料分析市場行情,這對于投資是非常有利的,
PS:如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取
可以免費領取原始碼、專案實戰視頻、PDF檔案等
所以,這種資訊爬取的難度也是較大的,
我一開始使用requests庫,發現反爬機制比較厲害,而且網頁的資料結構容易變化,然后我用selenium 爬取,配置好引數,使用本地瀏覽器,依次爬取32頁資料,共630條房價資訊,
我貼出部分代碼供參考:
def parse(): global start,end try: for i in range(start,end): name = driver.find_element_by_xpath('//*[@id="px"]/tbody/tr[%s]/th[2]/a'%(i)).text price = driver.find_element_by_xpath('//*[@id="px"]/tbody/tr[%s]/th[3]'%(i)).text row = [name,price] print(row) sheet.append(row) except: print("到底了!")
最后的結果通過代碼自動發送到QQ郵箱,效果如下:
共315個城市,想要獲取資料的朋友可以聯系我,提供實時的房價資訊,
得到表格,進行資料分析,用excel,進行資料的處理,繪制成統計圖:
我們可以看到,全國房價的前三名分別是:
深圳:北京,上海,
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理,
作者:弄堂里的一只汪
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/45130.html
標籤:Python
