python爬蟲爬取_高德地圖_主要城市遷徙意愿排行榜

高德主要城市遷徙意愿排行榜

在這里插入圖片描述

我已拿到從16年至今此網站能提供的城市遷徙大資料，請自行確認自己想要的城市此網站是否提供，部分三四線城市不提供
還有一點：網站不提供具體人數，如果需要具體人數的話我有聯通的2020年1-6月份的擴樣后的具體人數資料
如需資料請加我qq，在我博客的其他文章里可以找到

爬取簡單思路：
1、獲取URL
2、遍歷從19年至今的日期
3、訪問URL，記得捕獲例外，不然有可能會斷掉
4、抓完還需要處理資料成csv或者Excel

import os
from datetime import datetime, timedelta

import requests

from utils.read_write import writeOneJson
from utils.time_change import getBetweenDay

os.chdir(r'D:\data\高德遷徙\遷徙意愿json\\')


headers = {"User-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "
                         "(KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"}


# 發送請求
def requerts_url(url, riqi):
    try:
        response = requests.get(url, timeout=1000, headers=headers)
        json = eval(response.text)
        writeOneJson(json, riqi + ".json")
    except Exception as e:
        print(datetime.now())
        print(e)
        print(url)
        begin_date = datetime.strptime(riqi, "%Y-%m-%d")
        begin_date += timedelta(days=1)
        date_change(riqi)


city_list = []


# 先將資料下載為Json檔案
def city_range(riqi):
    file = "城市遷徙意愿_" + "_" + riqi + ".json"
    if not os.path.exists(file):
        firsturl = "https://trp.autonavi.com/cityTravel/line.do?adcode=100000&dt={}&willReal=WILL&size=200".format(riqi)
        requerts_url(firsturl, riqi)


def date_change(date):
    date_list = getBetweenDay(date)
    for riqi in date_list:
        print(riqi)
        city_range(riqi)


if __name__ == '__main__':
    date_change('2019-01-01')

喜歡請一鍵三連

AI信仰者 資料挖掘專家機器學習專家 AI領軍人物

擅長大資料挖掘、機器學習和深度學習
擅長Java、Python、Javascript等編程語言
在金融、交通、工業等方向有豐富的專案經驗

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/240066.html

標籤：python

上一篇：走進PEP8——代碼規范

下一篇：教你用Python畫了一棵圣誕樹!在圣誕節給女朋友制作一個小驚喜

python爬蟲爬取_高德地圖_主要城市遷徙意愿排行榜_19年至今資料