前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
作者：岡坂日川
今天發的是python爬蟲爬取中國大學排名，并且保存到excel中，當然這個代碼很簡單，我用了半小時就寫完了，我的整體框架非常清晰，可以直接拿去用，也希望有小白可以學習到關于爬蟲的一些知識，當然我也只是在學習中，有不好的地方還麻煩大佬們指正！謝謝！
爬取中國大學排名
request 獲取 html
beautiful soup 決議網頁
re 正則運算式匹配內容
新建并保存 excel
from bs4 import BeautifulSoup # 網頁決議 獲取資料 import re # 正則運算式 進行文字匹配 import urllib.request, urllib.error # 制定url 獲取網頁資料 import xlwt def main(): baseurl = "http://m.gaosan.com/gaokao/265440.html" # 1爬取網頁 datalist = getData(baseurl) savepath = "中國大學排名.xls" saveData(datalist,savepath) # 正則運算式 paiming = re.compile(r'<td>(.*)</td><td>.*</td><td>.*</td><td>.*</td><td>.*</td>') # 創建超鏈接正則運算式物件，表示字串模式，規則 xuexiao = re.compile(r'<td>.*</td><td>(.*)</td><td>.*</td><td>.*</td><td>.*</td>') defen = re.compile(r'<td>.*</td><td>.*</td><td>(.*)</td><td>.*</td><td>.*</td>') xingji = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>(.*)</td><td>.*</td>') cengci = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>.*</td><td>(.*)</td>') # 爬取網頁 def getData(baseurl): datalist = [] html = askURL(baseurl) # 保存獲取到的網頁原始碼 # print(html) #【逐一】決議資料 （一個網頁就決議一次） soup = BeautifulSoup(html, "html.parser") # soup是決議后的樹形結構物件 for item in soup.find_all('tr'): # 查找符合要求的字串形成串列 # print(item) #測驗查看item全部 data = https://www.cnblogs.com/hhh188764/p/[] # 保存一個學校的所有資訊 item = str(item) #排名 paiming1 = re.findall(paiming, item) # re正則運算式查找指定字串 0表示只要第一個 前面是標準后面是找的范圍 # print(paiming1) if(not paiming1): pass else: print(paiming1[0]) data.append(paiming1) if(paiming1 in data): #學校名字 xuexiao1 = re.findall(xuexiao, item)[0] # print(xuexiao1) data.append(xuexiao1) #得分 defen1 = re.findall(defen, item)[0] # print(defen1) data.append(defen1) #星級 xingji1 = re.findall(xingji, item)[0] # print(xingji1) data.append(xingji1) #層次 cengci1 = re.findall(cengci, item)[0] # print(cengci1) data.append(cengci1) # print('-'*80) datalist.append(data) # 把處理好的一個學校資訊放入datalist中 return datalist # 得到指定一個url網頁資訊內容 def askURL(url): # 我的初始訪問user agent head = { # 模擬瀏覽器頭部資訊，向豆瓣服務器發送訊息 偽裝用的 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36" } # 用戶代理表示告訴豆瓣服務器我們是什么型別的機器--瀏覽器 本質是告訴瀏覽器我們可以接受什么水平的檔案內容 request = urllib.request.Request(url, headers=head) # 攜帶頭部資訊訪問url # 用request物件訪問 html = "" try: response = urllib.request.urlopen(request) # 用urlopen傳遞封裝好的request物件 html = response.read().decode("utf-8") # read 讀取 可以解碼 防治亂碼 # print(html) except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) # 列印錯誤代碼 if hasattr(e, "reason"): print(e.reason) # 列印錯誤原因 return html # 3保存資料 def saveData(datalist, savepath): book = xlwt.Workbook(encoding="utf-8", style_compression=0) # 創建workbook物件 樣式壓縮效果 sheet = book.add_sheet('中國大學排名', cell_overwrite_ok=True) # 創建作業表 一個表單 cell覆寫 for i in range(0, 640): print("第%d條" % (i + 1)) data = datalist[i] # print(data) for j in range(0, 5): # 每一行資料保存進去 sheet.write(i , j, data[j]) # 資料 book.save(savepath) # 保存資料表 #主函式 if __name__ == "__main__": # 當程式執行時 # #呼叫函式 程式執行入口 main() # init_db("movietest.db") print("爬取完畢！")
具體實作效果如下
一共600多條資料
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/110785.html
標籤：Python
上一篇：常用正則