前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
還記得童年的網頁小游戲嗎？今天帶大家爬取4399小游戲網站的資料，游戲名字+鏈接地址
目標網站
http://www.4399.com/
基本環境配置
- python 3.6
- pycharm
- requests
- parsel
- csv
爬蟲代碼
匯入需要用到的工具
1import requests 2import parsel 3import csv
請求網頁
1 url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page) 2 headers = { 3 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' 4 } 5 response = requests.get(url=url, headers=headers) 6 response.encoding = response.apparent_encoding
決議網頁，爬取資料
1 for li in lis: 2 dit ={} 3 data_url = li.css('a::attr(href)').get() 4 new_url = 'http://www.4399.com' + data_url.replace('http://', '/') 5 dit['游戲地址'] = new_url 6 title = li.css('img::attr(alt)').get() 7 dit['游戲名字'] = title 8 print(new_url, title)
保存資料
1f = open('4399游戲.csv', mode='a', encoding='utf-8-sig', newline='') 2 3csv_writer = csv.DictWriter(f, fieldnames=['游戲地址', '游戲名字']) 4csv_writer.writeheader() 5f.close() 6# 想要原始碼的請關注公眾號：松鼠愛吃餅干 7# 發送‘4399’即可免費獲取
運行代碼，效果如下圖
每秒200條資料，超快的爬取速度
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/135427.html
標籤：Python
下一篇：開始入秋，一場秋雨一場寒