
前言
今天我們就用爬蟲攜程旅游景點資料爬取與可視化并做簡單的資料可視化分析唄,讓我們愉快地開始吧~
開發工具
Python版本:3.6.4
相關模塊:
bs4模塊;
jieba模塊;
pyecharts模塊;
wordcloud模塊;
requests模塊;
以及一些Python自帶的模塊,
環境搭建
安裝Python并添加到環境變數,pip安裝需要的相關模塊即可,
資料爬取
首先,我們來明確一下我們想要爬取的資料是哪些,這里為了方便起見,我們只爬取北京市的旅游景點資料,如下圖所示:
即我們需要爬取的資料為北京市所有景點的名稱,位置,評分等資料,明確了我們的爬取目標,就可以開始寫代碼啦~
代碼實作起來其實也很簡單,可以發現景點資訊頁的url變化規律如下:
'https://you.ctrip.com/sight/beijing1/s0-p頁碼.html#sightname'
那么我們只需要逐一請求所有相關網頁,并借助bs4決議并提取我們需要的資料即可,同時,為了避免爬蟲被封,我們每請求10次網頁,就更換一個代理,代理來源則是網上爬取的免費代理,
具體而言,代碼實作如下:
'''攜程旅游景點爬蟲'''
代碼運行效果如下:
All done~完整源代碼詳見個人簡介或者私信獲取相關檔案,
資料可視化
老規矩,寫完爬蟲可視化一波資料,方便起見,還是用剛剛爬取的北京景點資料吧~
首先,把所有景點的位置資訊做成詞云看看?
看看景點的評分分布唄:
再來統計一下景區評級分布唄:
其中,5A級景區有:
故宮
再來看看價格分布唄:
最后看看評論最多的8個景區是啥如何?
文章到這里就結束了,感謝你的觀看,關注我每天分享Python爬蟲實戰系列,下篇文章分享爬取攜程旅游景點資料爬取與可視化,
為了感謝讀者們,我想把我最近收藏的一些編程干貨分享給大家,回饋每一個讀者,希望能幫到你們,
干貨主要有:
① 2000多本Python電子書(主流和經典的書籍應該都有了)
② Python標準庫資料(最全中文版)
③ 專案原始碼(四五十個有趣且經典的練手專案及原始碼)
④ Python基礎入門、爬蟲、web開發、大資料分析方面的視頻(適合小白學習)
⑤ Python學習路線圖(告別不入流的學習)
⑥ Python為期兩天的爬蟲訓練營直播權限
All done~完整源代碼+干貨詳見個人簡介或者私信獲取相關檔案,,
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/288433.html
標籤:Python
