前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
PS：如有需要Python學習資料的小伙伴可以加點擊下方鏈接自行獲取
python免費學習資料以及群交流解答點擊即可加入
基本環境配置
- python 3.6
- pycharm
- requests
- parsel
- time
相關模塊pip安裝即可
確定目標網頁資料
哦豁，這個價格..................看到都覺得腦闊疼
通過開發者工具，可以直接找到網頁回傳的資料~
每一個二手房的資料，都在網頁的 li 標簽里面，咱們可以獲取網頁回傳的資料，然后通過決議，就可以獲取到自己想要的資料了~
獲取網頁資料
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
決議網頁資料
import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
title = li.css('.title a::text').get()
dit['標題'] = title
positionInfo = li.css('.positionInfo a::text').getall()
info = '-'.join(positionInfo)
dit['開發商'] = info
houseInfo = li.css('.houseInfo::text').get()
dit['房子資訊'] = houseInfo
followInfo = li.css('.followInfo::text').get()
dit['發布周期'] = followInfo
Price = li.css('.totalPrice span::text').get()
dit['售價/萬'] = Price
unitPrice = li.css('.unitPrice span::text').get()
dit['單價'] = unitPrice
csv_writer.writerow(dit)
print(dit)
保存資料
import csv
f = open('二手房資訊.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標題', '開發商', '房子資訊', '發布周期', '售價/萬', '單價'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()
資料
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/161522.html
標籤：其他