python爬取所有人位置資訊——騰訊位置大資料
- 騰訊位置大資料
- 網站
- 網站功能介紹
- 資料分析
- POST請求
- 請求決議
- python代碼
- 補充
騰訊位置大資料
網站
https://heat.qq.com/
網站功能介紹
????騰訊位置大資料會將提供所有用戶使用騰訊位置的資料資訊，但沒有用戶資訊（只有位置資訊），從這個網站我們可以獲取所有使用騰訊位置服務的產品（微信、QQ、騰訊地圖、京東和美團）的人再全球任何地方產生的定位次數，方便大家人口估測、商業分析和科學研究等，
資料分析
POST請求
????打開開發者工具，找到POST請求，這里需要注意的是，網站會每五分鐘POST一次getXingyunPoints請求，所以需要等五分鐘才能看到這個post請求，
請求決議
????等到post請求出現時，我們點開詳細資訊，每一次getXingyunPoints請求，都是四個，請求資訊中，我們需要關注的是locs這個內容，它是由大量的資料組成，中間由英文“,”隔開；
????每連續的三個資料為一組資料，這一組資料包含經度、緯度、人數，按照地理標準規范，經緯度小數點后面保留兩位也就是說，表現形式為xxx.xx的格式，請求的資料如下所示：
3220,11895,2,3075,11535,2,......
決議為：
緯度32.20，經度118.95，人數為2
緯度30.75，經度115.35，人數為2
…
python代碼
"""
@author: 菜C++雞Java Jiangzl
@Description: 用來爬取騰訊位置大資料資訊，再次宣告，騰訊位置大資料從沒人說是準確資料，也沒說是完整資料，發paper的話建議三思
"""
import requests
import json
import pandas as pd
import time
def get_TecentData(count=4, rank=0, increNum=0): # 先默認為從rank從0開始（tecent一次post會post四次）
url = 'https://xingyun.map.qq.com/api/getXingyunPoints'
content = ''
paload = {'count': count, 'rank': rank}
response = requests.post(url, data=json.dumps(paload))
datas = response.text
dictdatas = json.loads(datas) # dumps是將dict轉化成str格式，loads是將str轉化成dict格式
locs = dictdatas["locs"] # 再提取content（這個需要進一步分析提取出經緯度和定位次數）
locss = locs.split(",")
temp = [] # 搞一個臨時容器
for i in range(int(len(locss) / 3)):
lat = locss[0 + 3 * i] # 得到緯度
lon = locss[1 + 3 * i] # 得到經度
count = locss[2 + 3 * i]
#獲得陜西的資料---獲取每個地方的資料，改這里就行
#舉個栗子--請求的元資料是整數，北緯10到20度之間
#就是1000<int(lat)<2000
if(3142<int(lat)<3935 and 10529<int(lon)<11115):
temp.append([int(lat) / 100, int(lon) / 100, count]) # 在容器中存放資料：緯度，經度和定位次數
#資料整理
result = pd.DataFrame(temp)
result.dropna()
result.columns = ['lat', 'lon', 'count']
result.to_csv('TecentData'+str(increNum)+'.txt', mode='a', index=False) # model="a",a的意思就是append，可以把得到的資料一直往TecentData.txt中追加
if __name__ == '__main__':
#如果你想每隔多長時間生成一個檔案，就把下面的注釋釋放掉，就去掉那個#井號,0改成k
#sleep(number) number：間隔時間，每隔一分鐘獲取一次資料就是 sleep(60)
#while (1):
#for k in range(1000000):
for i in range(4):
get_TecentData(4, i, 0)
#time.sleep(60)
補充
????在決議資料的時候注意運行的時間以及資料的篩選，如果不加篩選，每次請求為10M流量，按一秒一次，一小時一般的磁盤可能就滿了，
????有任何問題，都可私聊或者評論補充，也可積極探討，互相學習，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/216457.html
標籤：其他