本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
以下文章來源于可以叫我才哥 ，作者：可以叫我才哥
最近有朋友需要幫忙寫個爬蟲腳本，爬取雪球網一些上市公司的財務資料，盆友希望可以根據他自己的選擇進行自由的抓取，所以簡單給一份腳本交給盆友，盆友還需要自己搭建python環境，更需要去熟悉一些引數修改的操作，想來也是太麻煩了，
于是，結合之前做過的匯率計算器小工具，我這邊決定使用PyQt5給朋友制作一個爬蟲小工具，方便他的操作可視化，
一、效果演示
二、功能說明
- 可以自由選擇證券市場型別：A股、美股和港股
- 可以自由選擇上市公司：單選或全選
- 可以自由選擇財務資料型別：單選或全選（主要指標、利潤表、資產負債表、現金流表）
- 可以匯出資料存盤為excel表格檔案
- 支持同一家上市公司同型別財務資料追加
三、制作程序
首先引入需要的庫
import sys from PyQt5 import QtCore, QtGui, QtWidgets from PyQt5.QtWidgets import QApplication, QMainWindow,QFileDialog import os import requests from fake_useragent import UserAgent import json import logging import time import pandas as pd from openpyxl import load_workbook
雪球網頁拆解
這一步的目的是獲取需要爬取的資料的真正URL地址規律，
當我選中某只股票查看財務資料某型別資料報告時，點擊下一頁，網站地址沒有變化，基本可以知道這是動態加載的資料，對于這類資料可以使用F12打開開發者模式，
在開發者模式下，選到Network—>XHR可以查看到真正的資料獲取地址URL及請求方式（General里是請求URL和請求方式說明，Request Headers有請求頭資訊，如cookie，Query String Parameters就是可變引數項，一般來說資料源URL就是由基礎URL和這里的可變引陣列合而成）
我們分析這段URL，可以發現其基本結構如下：
基于上述結構，我們拆分最終的組合URL地址如下
#基礎網站 base_url = f'https://stock.xueqiu.com/v5/stock/finance/{ABtype}' #組合url地址 url = f'{base_url}/{data_type}.json?symbol={ipo_code}&type=all&is_detail=true&count={count_num}×tamp={start_time}'
操作界面設計
操作界面設計使用的是PyQt5，這里不做更詳細的介紹，我們在后續中對PyQt5的使用再專題講解，
使用QT designer對操作界面進行可視化設計，參考如下：
雪球網資料提取.ui中各個組件的相關設定，參考如下：
.ui檔案可以使用pyuic5指令進行編譯生成對應的.py檔案，或者我們也可以在vscode里直接轉譯（這里也不做更詳細的介紹，具體見后續專題講解），
本文沒有將操作界面定義檔案單獨使用，而是將全部代碼集中在同一個.py檔案，因此其轉譯后的代碼備用即可，
獲取cookie及基礎引數
獲取cookie
為了便于小工具拿來即可使用，我們需要自動獲取cookie地址并附加在請求頭中，而不是人為打開網頁在開發者模式下獲取cookie后填入，
自動獲取cookie，這里使用到的requests庫的session會話物件，
requests庫的session會話物件可以跨請求保持某些引數，簡單來說，就是比如你使用session成功的登錄了某個網站，則在再次使用該session物件請求該網站的其他網頁都會默認使用該session之前使用的cookie等引數
import requests from fake_useragent import UserAgent url = 'https://xueqiu.com' session = requests.Session() headers = {"User-Agent": UserAgent(verify_ssl=False).random} session.get(url, headers=headers) #獲取當前的Cookie Cookie= dict(session.cookies)
基礎引數
基礎引數是用于財務資料請求時原始網址構成引數選擇，我們在可視化操作工具中需要對財務資料型別進行選擇，因此這里需要構建財務資料型別字典，
#原始網址 original_url = 'https://xueqiu.com' #財務資料型別字典 dataType = {'全選':'all', '主要指標':'indicator', '利潤表':'income', '資產負債表':'balance', '現金流量表':'cash_flow'}
獲取獲取各證券市場上市名錄
因為我們在可視化操作工具上是選定股票代碼后抓取相關資料并匯出，對匯出的檔案名稱希望是以股票代碼+公司名稱的形式(SH600000 浦發銀行)存盤，所以我們需要獲取股票代碼及名稱對應關系的字典表，
這其實就是一個簡單的網路爬蟲及資料格式調整的程序，實作代碼如下：
1import requests 2import pandas as pd 3import json 4from fake_useragent import UserAgent 5#請求頭設定 6headers = {"User-Agent": UserAgent(verify_ssl=False).random} 7#股票清單串列地址決議（通過設定引數size為9999可以只使用1個靜態地址，全部股票數量不足5000） 8url = 'https://xueqiu.com/service/v5/stock/screener/quote/list?page=1&size=9999&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz' 9#請求原始資料 10response = requests.get(url,headers = headers) 11#獲取股票串列資料 12df = response.text 13#資料格式轉化 14data =https://www.cnblogs.com/hhh188764/p/ json.loads(df) 15#獲取所需要的股票代碼及股票名稱資料 16data = https://www.cnblogs.com/hhh188764/p/data['data']['list'] 17#將資料轉化為dataframe格式，并進行相關調整 18data =https://www.cnblogs.com/hhh188764/p/ pd.DataFrame(data) 19data = data[['symbol','name']] 20data['name'] = data['symbol']+' '+data['name'] 21data.sort_values(by = ['symbol'],inplace=True) 22data = data.set_index(data['symbol'])['name'] 23#將股票串列轉化為字典，鍵為股票代碼，值為股票代碼和股票名稱的組合 24ipoCodecn = data.to_dict()
A股股票代碼及公司名稱字典如下：
獲取上市公司財務資料并匯出
根據在可視化操作界面選擇的 財務報告時間區間、財務報告資料型別、所選證券市場型別以及所輸入的股票代碼后，需要先根據這些引陣列成我們需要進行資料請求的網址，然后進行資料請求，
由于請求后的資料是json格式，因此可以直接進行轉化為dataframe型別，然后進行匯出，在資料匯出的時候，我們需要判斷該資料檔案是否存在，如果存在則追加，如果不存在則新建，
獲取上市公司財務資料
通過選定的引數生成財務資料網址，然后根據是否全選決定后續資料請求的操作，因此可以拆分為獲取資料網址和請求詳情資料兩部分，
獲取資料網址
資料網址是根據證券市場型別、財務資料型別、股票代碼、單頁數量及起始時間戳決定，而這些引數都是通過可視化操作界面進行設定，
證券市場型別 控制元件 是radioButton，可以通過你 ischecked() 方法判斷是否選中，然后用if-else進行引數設定；
財務資料型別 和 股票代碼 因為支持 全選，需要先進行全選判定（全選條件下是需要回圈獲取資料網址，否則是單一獲取即可），因此這部分需要再做拆分；
單頁數量 考慮到每年有4份財務報告，因此這里默認為年份差*4；
時間戳 是 根據起始時間中的 結束時間 計算得出，由于可視化界面輸入的 是 整數年份，我們可以通過 mktime() 方法獲取時間戳，
1def Get_url(self,name,ipo_code): 2 #獲取開始結束時間戳（開始和結束時間手動輸入） 3 inputstartTime = str(self.start_dateEdit.date().toPyDate().year) 4 inputendTime = str(self.end_dateEdit.date().toPyDate().year) 5 endTime = f'{inputendTime}-12-31 00:00:00' 6 timeArray = time.strptime(endTime, "%Y-%m-%d %H:%M:%S") 7 8 #獲取指定的資料型別及股票代碼 9 filename = ipo_code 10 data_type =dataType[name] 11 #計算需要采集的資料量(一年以四個算) 12 count_num = (int(inputendTime) - int(inputstartTime) +1) * 4 13 start_time = f'{int(time.mktime(timeArray))}001' 14 15 #證券市場型別 16 if (self.radioButtonCN.isChecked()): 17 ABtype = 'cn' 18 num = 3 19 elif (self.radioButtonUS.isChecked()): 20 ABtype = 'us' 21 num = 6 22 elif (self.radioButtonHK.isChecked()): 23 ABtype = 'hk' 24 num = 6 25 else: 26 ABtype = 'cn' 27 num = 3 28 29 #基礎網站 30 base_url = f'https://stock.xueqiu.com/v5/stock/finance/{ABtype}' 31 32 #組合url地址 33 url = f'{base_url}/{data_type}.json?symbol={ipo_code}&type=all&is_detail=true&count={count_num}×tamp={start_time}' 34 35 return url,num
請求詳情資料
需要根據用戶輸入決定資料采集方式，代碼中主要是根據用戶輸入做判斷然后再進行詳情資料請求，
1#根據用戶輸入決定資料采集方式 2def Get_data(self): 3 #name為財務報告資料型別（全選或單個） 4 name = self.Typelist_comboBox.currentText() 5 #股票代碼（全選或單個） 6 ipo_code = self.lineEditCode.text() 7 #判斷證券市場型別 8 if (self.radioButtonCN.isChecked()): 9 ipoCodex=ipoCodecn 10 elif (self.radioButtonUS.isChecked()): 11 ipoCodex=ipoCodeus 12 elif (self.radioButtonHK.isChecked()): 13 ipoCodex=ipoCodehk 14 else: 15 ipoCodex=ipoCodecn 16#根據財務報告資料型別和股票代碼型別決定資料采集的方式 17 if name == '全選' and ipo_code == '全選': 18 for ipo_code in list(ipoCodex.keys()): 19 for name in list(dataType.keys())[1:]: 20 self.re_data(name,ipo_code) 21 elif name == '全選' and ipo_code != '全選': 22 for name in list(dataType.keys())[1:]: 23 self.re_data(name,ipo_code) 24 elif ipo_code == '全選' and name != '全選': 25 for ipo_code in list(ipoCodex.keys()): 26 self.re_data(name,ipo_code) 27 else: 28 self.re_data(name,ipo_code) 29 30#資料采集，需要呼叫資料網址（Get.url(name,ipo_code) 31def re_data(self,name,ipo_code): 32 name = name 33 #獲取url和num（url為詳情資料網址，num是詳情資料中根據不同證券市場型別決定的需要提取的資料起始位置） 34 url,num = self.Get_url(name,ipo_code) 35 #請求頭 36 headers = {"User-Agent": UserAgent(verify_ssl=False).random} 37 #請求資料 38 df = requests.get(url,headers = headers,cookies = cookies) 39 40 df = df.text 41try: 42 data =https://www.cnblogs.com/hhh188764/p/ json.loads(df) 43 pd_df = pd.DataFrame(data['data']['list']) 44 to_xlsx(num,pd_df) 45 except KeyError: 46 log = '<font color=\"#FF0000\">該股票此型別報告不存在,請重新選擇股票代碼或資料型別</font>' 47 self.rizhi_textBrowser.append(log)
財務資料處理并匯出
單純的資料匯出是比較簡單的操作，直接to_excel() 即可，但是考慮到同一個上市公司的財務資料型別有四種，我們希望都保存在同一個檔案下，且對于同型別的資料可能存在分批匯出的情況希望能追加，因此，需要進行特殊的處理，用pd.ExcelWriter()方法操作，
1#資料處理并匯出 2def to_xlsx(self,num,data): 3 pd_df = data 4 #獲取可視化操作界面輸入的匯出檔案保存檔案夾目錄 5 filepath = self.filepath_lineEdit.text() 6 #獲取檔案名 7 filename = ipoCode[ipo_code] 8 #組合成檔案詳情（地址+檔案名+檔案型別） 9 path = f'{filepath}\{filename}.xlsx' 10 #獲取原始資料列欄位 11 cols = pd_df.columns.tolist() 12 #創建空dataframe型別用于存盤 13 data =https://www.cnblogs.com/hhh188764/p/ pd.DataFrame() 14 #創建報告名稱欄位 15 data['報告名稱'] = pd_df['report_name'] 16 #由于不同證券市場型別下各股票財務報告詳情頁資料從不同的列才是需要的資料，因此需要用num作為起點 17 for i in range(num,len(cols)): 18 col = cols[i] 19 try: 20 #每列資料中是串列形式，第一個是值，第二個是同比 21 data[col] = pd_df[col].apply(lambda x:x[0]) 22 # data[f'{col}_同比'] = pd_df[col].apply(lambda x:x[1]) 23 except TypeError: 24 pass 25 data = https://www.cnblogs.com/hhh188764/p/data.set_index('報告名稱') 26 log = f'{filename}的{name}資料已經爬取成功' 27 self.rizhi_textBrowser.append(log) 28 #由于存盤的資料行索引為資料指標，所以需要對采集的資料進行轉T處理 29 dataT = data.T 30 dataT.rename(index = eval(f'_{name}'),inplace=True) 31 #以下為判斷資料報告檔案是否存在，若存在則追加，不存在則重新創建 32 try: 33 if os.path.exists(path): 34 #讀取檔案全部頁簽 35 df_dic = pd.read_excel(path,None) 36 if name not in list(df_dic.keys()): 37 log = f'{filename}的{name}資料頁簽不存在，創建新頁簽' 38 self.rizhi_textBrowser.append(log) 39 #追加新的頁簽 40 with pd.ExcelWriter(path,mode='a') as writer: 41 book = load_workbook(path) 42 writer.book = book 43 dataT.to_excel(writer,sheet_name=name) 44 writer.save() 45 else: 46 log = f'{filename}的{name}資料頁簽已存在，合并中' 47 self.rizhi_textBrowser.append(log) 48 df = pd.read_excel(path,sheet_name = name,index_col=0) 49 d_ = list(set(list(dataT.columns)) - set(list(df.columns))) 50#使用merge()進行資料合并 51 dataT = pd.merge(df,dataT[d_],how='outer',left_index=True,right_index=True) 52 dataT.sort_index(axis=1,ascending=False,inplace=True) 53 #頁簽中追加資料不影響其他頁簽 54 with pd.ExcelWriter(path,engine='openpyxl') as writer: 55 book = load_workbook(path) 56 writer.book = book 57 idx = writer.book.sheetnames.index(name) 58 #洗掉同名的，然后重新創建一個同名的 59 writer.book.remove(writer.book.worksheets[idx]) 60 writer.book.create_sheet(name, idx) 61 writer.sheets = {ws.title:ws for ws in writer.book.worksheets} 62 63 dataT.to_excel(writer,sheet_name=name,startcol=0) 64 writer.save() 65 else: 66 dataT.to_excel(path,sheet_name=name) 67 68 log = f'<font color=\"#00CD00\">{filename}的{name}資料已經保存成功</font>' 69 self.rizhi_textBrowser.append(log) 70 71 except FileNotFoundError: 72 log = '<font color=\"#FF0000\">未設定存盤目錄或存盤目錄不存在,請重新選擇檔案夾</font>' 73 self.rizhi_textBrowser.append(log)
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/82455.html
標籤：Python