前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
窮游網提供原創實用的出境游旅行指南、攻略，旅行社區和問答交流平臺，以及智能的旅行規劃解決方案同時提供簽證、保險、機票、酒店預訂、租車等在線增值服務，
窮游“鼓勵和幫助中國旅行者以自己的視角和方式體驗世界”，
今天教大家獲取窮游網的城市資訊，使用Python將資料寫入csv檔案，
前基本環境配置
- python 3.6
- pycharm
- requests
- parsel
- csv
爬蟲代碼
匯入需要用到的工具
1import requests 2import parsel 3import csv
請求網頁
1 url = 'https://place.qyer.com/china/citylist-0-0-{}/'.format(str(page)) 2 headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'} 3 4 response = requests.get(url=url, headers=headers) 5 html_data = https://www.cnblogs.com/hhh188764/p/response.text
決議網頁，爬取資料
1 for li in lis: 2 travel_place = li.xpath('.//h3/a/text()').get() # 目的地 3 travel_people = li.xpath('.//p[@]/text()').get() # 去過的人數 4 5 travel_hot = li.xpath('.//p[@]/a/text()').getall() # 熱門景點 6 travel_hot = [hot.strip() for hot in travel_hot] 7 travel_hot = '、'.join(travel_hot) 8 9 travel_url = li.xpath('.//h3/a/@href').get() # 目的地詳情頁url 10 travel_imgUrl = li.xpath('./p/a/img/@src').get() # 目的地詳情頁url 11 print(travel_place, travel_people, travel_hot, travel_url, travel_imgUrl, sep=' | ')
保存資料
1 with open('data.csv', mode='a', encoding='utf-8', newline='') as f: 2 csv_write = csv.writer(f) 3 csv_write.writerow([travel_place, travel_people, travel_hot, travel_url, travel_imgUrl]) 4 # 想要完整原始碼的請管制我微信公眾號：松鼠愛吃餅干 5 # 發送資訊“窮游”，即可免費獲取
運行代碼，效果如下圖
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/140193.html
標籤：Python