采集資料目標
網址：美團酒店
效果展示
工具使用
開發工具：pycharm
開發環境：python3.7， Windows10
使用工具包：requests
專案思路決議
首先選取自己想去旅游的景點，獲取景點附近的資料，就比方說白又白中秋國慶打算去長沙游玩獲取的就是長沙的住宿酒店（要長沙游玩的可以滴滴白又白）
獲取到資料后確定資料的加載是靜態資料還是動態資料，當前網頁資料為動態加載動態資料需要通過抓包的方式獲取，打開除錯工具獲取到資料
確定好資料后就可以進入代碼環節了，對網址發送網路請求
url = 'https://ihotel.meituan.com/hbsearch/HotelSearch?utm_medium=pc&version_name=999.9&cateId=20&attr_28=129&uuid=73B01E7C1051ACFB5730B1C1CD456776945CB50F887E09211F020EB1F6C89996%401631623416857&cityId=198&offset={}&limit=20&startDay=20210914&endDay=20210914&q=&sort=defaults&X-FOR-WITH=4ArIbixslGNtC2oCAtBb2cXDcp3jPZ5xX01C1%2FuNnCXQqh0Edqc3Dkag7qJcicwPAPLY%2FljJLm6wQMNIxLvp9b%2BYD0zfZCkSVgXL0zJuhuGKUZIaSNcfRtkjSISQqvXCOBdIJU9o2Kiz1YxsEqKX%2BlSNhmge6otjb%2B%2FQSr5lMWEicjgDCcQNg0jLrkAO1WXcFHMYZO40i6QdyAWbmxLV6TnJetfiLBxM0oQEvvcnOyA%3D'.format(i * 20)
headers = {
'Host': 'ihotel.meituan.com',
'Origin': 'https://hotel.meituan.com',
'Referer': 'https://hotel.meituan.com/',
'Cookie': 'uuid=3c6a1ffa63c44f609095.1631265937.1.0.0; _lxsdk_cuid=178d04766dac8-08045ec98b749f-3f356b-1fa400-178d04766dbc8; mtcdn=K; IJSESSIONID=node01wdulauewgz8610kyb50ik2ee51588346; iuuid=73B01E7C1051ACFB5730B1C1CD456776945CB50F887E09211F020EB1F6C89996; _lxsdk=73B01E7C1051ACFB5730B1C1CD456776945CB50F887E09211F020EB1F6C89996; backurl=http://i.meituan.com/awp/h5/hotel/list/list.html?cityId=96&accommodationType=1&checkIn=2021-09-14&checkOut=2021-09-15; i_extend=Gempty; ci=1; rvct=1%2C96; cityname=%E5%8C%97%E4%BA%AC; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; _lxsdk_s=17be4558492-2b-59d-9d2%7C%7C2',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}
response = requests.get(url, headers=headers)
print(response.text)
記得帶上對應資料請求頭獲取到json資料
從資料中選取自己想要的資料引數
# 提取想要的資料
item = {}
item['historySaleCount'] = data['historySaleCount']
item['cityName'] = data['cityName']
item['areaName'] = data['areaName']
item['name'] = data['name']
item['scoreIntro'] = data['scoreIntro']
# item['positionDescList'] = [i['text'] for i in data['forward'].get('positionDescList', "沒有")]
item['poiTagList'] = [i['text'] for i in data['poiTagList']]
print(item)
提取的資料有各位大佬自己決定
最后將資料保存在csv表格里
就完成啦，你想去哪里玩呢？但是不管去哪里記得勤洗手，戴口罩呀！
我是白又白i，一名喜歡分享知識的程式媛??
如果沒有接觸過編程這塊的朋友看到這篇博客，發現不會編程或者想要學習的，可以直接留言+私我呀~【非常感謝你的點贊、收藏、關注、評論，一鍵三連支持】
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/300753.html
標籤：python
上一篇：Python爬蟲和資料可視化總結
下一篇：2021年9月世界編程語言排行