前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
作者：分享兒
代碼
import request from bs4 import BeautifulSoup headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3775.400 QQBrowser/10.6.4208.400' } #請求頭，爬蟲偽裝 for i in range(0,100): url = 'http://xiaohua.zol.com.cn/detail15/{}.html'.format(i) #爬蟲目標網站 html = request.get(url, headers=headers) #請求后回傳的源代碼 # html.encoding = 'utf-8' soup = BeautifulSoup(html.text, 'lxml') #對源代碼進行決議 if html.status_code==200: # 訪問成功 title = soup.select(".article-title")[0].text.replace(' ', '') content = soup.select(".article-text")[0].text.replace(' ', '') with open('D:/xh.txt', 'a',encoding='utf-8') as f: #保存檔案在D:/xh.txt檔案中 f.write(title) f.write(content) f.write('\n\n') f.close() print(title, content) else: #訪問失敗 continue
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/24499.html
標籤：Python
上一篇：07_執行緒池