采集流程

一. 明確需求

采集/確診人數/新增人數

二. 代碼流程 四大步驟

1. 發送請求
2. 獲取資料 網頁源代碼
3. 決議資料 篩選一些我想用的資料
4. 保存資料 保存成表格
5. 做資料可視化分析

開始代碼

1. 發送請求

import requests     # 額外安裝: 第三方模塊

url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_aladin_banner'
response = requests.get(url)

2. 獲取資料 網頁源代碼

html_data =https://www.cnblogs.com/qshhl/p/ response.text
# print(response.text)

3. 決議資料

最煩的事情來了，就是提取里面的資料

str_data = https://www.cnblogs.com/qshhl/p/re.findall('<script type="application\/json" id="captain-config">\{(.*)\}',html_data)[0]
print(re.findall( '"component":\[(.*)\],',str_data)[0])

用工具去決議一下，在caseList里面就是我們想要的資料了

json_str = re.findall('"component":\[(.*)\],', html_data)[0]     # 字串
# 字典型別取值, 轉型別
json_dict = eval(json_str)
caseList = json_dict['caseList']
for case in caseList:
    area = case['area']                                 # 城市
    curConfirm = case['curConfirm']                     # 當前確診
    curConfirmRelative = case['curConfirmRelative']     # 新增人數
    confirmed = case['confirmed']                       # 累計確診
    crued = case['crued']                               # 治愈人數
    died = case['died']                                 # 死亡人數

4. 保存資料

with open('data.csv', mode='a', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow([area, curConfirm, curConfirmRelative, confirmed, crued, died])

運行代碼，得到資料

疫情資料可視化

各地區確診人數

china_map = (
    Map()
    .add("現有確診", [list(i) for i in zip(df['area'].values.tolist(),df['curConfirm'].values.tolist())], "china")
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各地區確診人數"),
        visualmap_opts=opts.VisualMapOpts(max_=200, is_piecewise=True),
    )
)
china_map.render_notebook()

新型冠狀病毒全國疫情地圖

cofirm, currentCofirm, cured, dead = [], [], [], []

tab = Tab()

_map = (
    Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
    .add("累計確診人數", [list(i) for i in zip(df['area'].values.tolist(),df['confirmed'].values.tolist())], "china", is_map_symbol_show=False,  is_roam=False)
    .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
                                  ),
        legend_opts=opts.LegendOpts(is_show=False),
        visualmap_opts=opts.VisualMapOpts(is_show=True, max_=1000,
                                          is_piecewise=False,
                                          range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000'])
    )
)
tab.add(_map, '累計確診')

_map = (
    Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
    .add("當前確診人數", [list(i) for i in zip(df['area'].values.tolist(),df['curConfirm'].values.tolist())], "china", is_map_symbol_show=False,  is_roam=False)
    .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
                                  ),
        legend_opts=opts.LegendOpts(is_show=False),
        visualmap_opts=opts.VisualMapOpts(is_show=True, max_=100,
                                          is_piecewise=False,
                                          range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000'])
    )
)
tab.add(_map, '當前確診')

_map = (
    Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
    .add("治愈人數", [list(i) for i in zip(df['area'].values.tolist(),df['crued'].values.tolist())], "china", is_map_symbol_show=False,  is_roam=False)
    .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
                                  ),
        legend_opts=opts.LegendOpts(is_show=False),
        visualmap_opts=opts.VisualMapOpts(is_show=True, max_=1000,
                                          is_piecewise=False,
                                          range_color=['#FFFFE0', 'green'])
    )
)
tab.add(_map, '治愈')

_map = (
    Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
    .add("死亡人數", [list(i) for i in zip(df['area'].values.tolist(),df['died'].values.tolist())], "china", is_map_symbol_show=False,  is_roam=False)
    .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
                                  ),
        legend_opts=opts.LegendOpts(is_show=False),
        visualmap_opts=opts.VisualMapOpts(is_show=True, max_=50,
                                          is_piecewise=False,
                                          range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000'])
    )
)
tab.add(_map, '死亡')

tab.render_notebook()

各地區確診人數與死亡人數情況

bar = (
    Bar()
    .add_xaxis(list(df['area'].values)[:6])
    .add_yaxis("死亡", df['died'].values.tolist()[:6])
    .add_yaxis("治愈", df['crued'].values.tolist()[:6])
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各地區確診人數與死亡人數情況"),
        datazoom_opts=[opts.DataZoomOpts()],
        )
)
bar.render_notebook()

對于本篇文章有疑問的同學可以加【資料白嫖、解答交流群：910981974】

標籤：Python

上一篇：快速整透Redis中的壓縮串列到底是個啥

下一篇：Python 互動式解釋器的二三事