實時監控股市重大公告的Python爬蟲小技巧
-
精力有限的我們，如何更加有效率地監控資訊？
很多時候特別是交易時，我們需要想辦法監控一些資訊，比如股市的公告，如果現有的軟體沒有辦法實作我們的需求，那么就要靠我們自己動手，才能豐衣足食，
你在交易看盤時，如果有一個小視窗，平時默默的不聲不響，但是如果有公告發布，就會顯示公告的資訊：這是什么公告，然后給我們公告的鏈接，這樣，既不會像彈窗那樣用資訊轟炸我們，又能夠定制我們自己想要的內容，做到想看就看，想不看就不看，那就很方便了，
爬蟲抓取的是東方財富上的上市公司公告，上市公司公告有些會在盤中公布，實時監控的原理，其實就是程式代替人工，定期地去重繪網頁，然后用重繪前后得到的資料進行比對，如果一樣，那么等待下一個周期繼續重繪，如果不一樣，那么就把增量資訊提取出來，供我們查閱，
-
利用python爬蟲實時監控公告資訊四部曲
第一步，匯入隨機請求頭和需要的包
我們使用json來決議獲取的資訊，使用什么方法決議資料取決于我們請求資料的回傳形式，這里使用json最方便，我們就匯入json包，
第二步，獲取初始的公告資料
我們發現，每一個公告都有一個獨有的文章號碼：art_code，因此我們以這個號碼作為新舊比較的基準，如果新頁面的頭一個公告的art_code和已有的一致，那么就進入下一個重繪周期，如果不一致，那么說明頁面已經更新過了，我們提取最新的報告，同時更新這個art_code，用于下一次比對，
-
原始url的獲取，獲取之后，通過json決議其中的內容，得到art_code，覆寫寫入在tmp.txt檔案中，用于比對，
-
讀取了tmp.txt檔案中的art_code，跟頁面決議的art_code比對，
第三步，獲取公告標題和文章鏈接
-
通過json我們基本上已經能夠決議出大部分的資料內容，
-
通過觀察網站的公告鏈接的特點，我們發現主要的差別就是在art_code，因此通過網址鏈接的拼接，我們就能夠得到公告的pdf鏈接，
第四步，運行我們的程式
程式運行的結果會列印到視窗當中，每當有新的公告發布，程式上就會出現一串新的資訊，
-
最后
自此，我們通程序式把我們要的資訊列印到了程式的運行視窗，同時，我們的程式也可以根據我們需求進行強化和擴充，首先，這些資訊也可以非常方便的通過介面發送到郵箱、釘釘等平臺，起到實時提醒的作用，其次，我們也可以從不同的地方抓取資訊，完成所需資訊的自定義整合，這些將在我們后續的文章中提到，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/78430.html
標籤：Python
上一篇：PHP-XDebug配置