前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
買房裝修，是每個人都要經歷的重要事情之一，相對于新房交易市場來說，如今的二手房交易市場一點也不遜色，很多二手房的資訊剛剛掛出來，就被其他購房者拿下了，
專案目標
爬取鏈家網二手房資訊
受害者地址
https://cs.lianjia.com/ershoufang/pg%7B%7D/
基本環境配置
- python 3.6
- pycharm
代碼
匯入工具
import requests import parsel import time
請求網頁，爬取資料
for page in range(1, 101): print('===========================正在下載第{}頁資料================================'.format(page)) time.sleep(1) url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(page) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) selector = parsel.Selector(response.text) lis = selector.css('.sellListContent li') dit = {} for li in lis: title = li.css('.title a::text').get() dit['標題'] = title positionInfo = li.css('.positionInfo a::text').getall() info = '-'.join(positionInfo) dit['開發商'] = info houseInfo = li.css('.houseInfo::text').get() dit['房子資訊'] = houseInfo followInfo = li.css('.followInfo::text').get() dit['發布周期'] = followInfo Price = li.css('.totalPrice span::text').get() dit['售價/萬'] = Price unitPrice = li.css('.unitPrice span::text').get() dit['單價'] = unitPrice csv_writer.writerow(dit) print(dit)
保存資料
import csv f = open('二手房資訊.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['標題', '開發商', '房子資訊', '發布周期', '售價/萬', '單價']) csv_writer.writeheader()
運行代碼，效果如下
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/99192.html
標籤：Python