
前言
總感覺最近好多地震的新聞,就想著爬一波地震相關的資料來看看,
開發工具
Python 版本:3.6.4
相關模塊:
scrapy模塊;
jieba模塊;
pyecharts模塊;
folium模塊;
wordcloud模塊;
fake_useragent模塊;
以及一些Python自帶的模塊,
環境搭建
安裝Python并添加到環境變數,pip安裝需要的相關模塊即可,
資料爬取
首先新建一個project:

然后打開中國地震臺網:
http://news.ceic.ac.cn/index.html
發現使用網站自帶的查詢功能就可以查詢到指定時間和經緯度范圍的地震資料:

OK,那就開始寫代碼吧~
先在items.py檔案內定義我們要爬取的資料:
class EarthquakeItem(scrapy.Item):
在spiders檔案夾下新建main.py函式寫我們爬蟲主程式,這里我們爬取的是從2000年1月1日開始至今網站上所有有記錄的地震資料(事實上,跑完代碼發現網站里只有從2012年開始的地震資料T_T):
'''main'''
OK,大功告成了,在第一個earthquake檔案夾下運行如下命令就行了:
scrapy crawl earthquake -o eqdata.json -t json
爬取的資料將保存在eqdata.json檔案內,
文章到這里就結束了,感謝你的觀看,關注我每天分享Python爬蟲實戰系列,下篇文章分享爬蟲天氣資料并分析,
為了感謝讀者們,我想把我最近收藏的一些編程干貨分享給大家,回饋每一個讀者,希望能幫到你們,
干貨主要有:
① 2000多本Python電子書(主流和經典的書籍應該都有了)
② Python標準庫資料(最全中文版)
③ 專案原始碼(四五十個有趣且經典的練手專案及原始碼)
④ Python基礎入門、爬蟲、web開發、大資料分析方面的視頻(適合小白學習)
⑤ Python學習路線圖(告別不入流的學習)
All done~完整源代碼+干貨詳見個人簡介或者私信獲取相關檔案,,
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/288249.html
標籤:Python
