前言
不知道大伙有沒有看到過這一句話:“中國(疫苗研發)非常困難,因為在中國我們沒有辦法做第三期臨床試驗,因為沒有病人了,”這句話是中國工程院院士鐘南山在上海科技大學2021屆畢業典禮上提出的,這句話在全網流傳,被廣大網友稱之為“凡爾賽”發言,
今天讓我們用資料來看看這句話是不是“凡爾賽”本賽,在開始之前我們先來說說今天要用到的python庫吧!
1.資料獲取部分
requests lxml json openpyxl
2.資料可視化部分
pandas pyecharts(可視化庫)
以上的庫都可以通過在線下載:
pip instll xx
ps:如果下載速度太慢的話也可以用國內鏡像,使用命令,例如:
pip install xx(庫名) -i https://pypi.tuna.tsinghua.edu.cn/simple gevent(清華鏡像)
現在一起進入今天的代碼部分吧!!!
資料獲取
目標地址:
https://voice.baidu.com/act/newpneumonia/newpneumonia
進入目標地址我們可以看到如下所示:

現在讓我們一起去決議網頁結構找到我們要爬取到的資料如下所示:

現在我們找到想要的頁面資料接下來就是通過Python來獲取這些資料了,上代碼:
1 import requests
2 from lxml import etree
3 import json
4 import openpyxl
5
6 #通用爬蟲
7 url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia'
8 headers = {
9 "User-Agent": ".....(換成自己的)"
10 }
11 response = requests.get(url=url,headers=headers).text
12 #在使用xpath的時候要用樹形態
13 html = etree.HTML(response)
14 #用xpath來獲取我們之前找到的頁面json資料 并列印看看
15 json_text = html.xpath('//script[@type="application/json"]/text()')
16 json_text = json_text[0]
17 print(json_text)
之后我們來決議一下json資料,上代碼:
1 #用python本地自帶的庫轉換一下json資料
2 result = json.loads(json_text)
3 print(result)
4 #通過列印出轉換的物件我們可以看到我們要的資料都要key為component對應5 的值之下 所以現在我們將值拿出來
6 result = result["component"]
7 #再次列印看看結果
8 print(result)
9 獲取國內當前資料
10 result = result[0]['caseList']
11 print(result)
接著我們將獲取到的資料保存到excel中,上代碼:
1 #創建作業簿
2 wb = openpyxl.Workbook()
3 創建作業表
4 ws = wb.active
5 設定表的標題
6 ws.title = "國內疫情"
7 寫入表頭
8 ws.append(["省份","累計確診","死亡","治愈"])
9 #獲取各省份的資料并寫入
10 for line in result:
11 line_name = [line["area"],line["confirmed"],line["died"],line["crued"]]
12 for ele in line_name:
13 if ele == '':
14 ele = 0
15 ws.append(line_name)
16 #保存到excel中
17 wb.save('./china.xlsx')
最后我們查看一下獲取到的資料是什么樣的,如圖:

emmmm,終于我們把資料獲取部分完成了,第二部分的資料可視化來了!!!
資料可視化
這次我們用到的庫是pyecharts里面的Map,我們先展示一下本次可視化用到的庫
1 #可視化部分
2 import pandas as pd
3 from pyecharts.charts import Map,Page
4 from pyecharts import options as opts
首先我們要先通過pandas庫來獲取到剛才我們爬取到的資料,上代碼:
1 設定列對齊
2 pd.set_option('display.unicode.ambiguous_as_wide', True)
3 pd.set_option('display.unicode.east_asian_width', True)
4 打開檔案
5 df = pd.read_excel('china.xlsx')
6 對省份進行統計
7 data2 = df['省份']
8 data2_list = list(data2)
9 data3 = df['累計確診']
10 data3_list = list(data3)
11 data4 = df['死亡']
12 data4_list = list(data4)
13 data5 = df ['治愈']
14 data5_list = list(data5)
接著我們來做資料可視化,將在我國地圖上的各個省份顯示出對應的數值
我們以疫情發生以來治愈數為例,上代碼:
1 c = (
2 Map()
3 .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
4 .set_global_opts(
5 title_opts=opts.TitleOpts(),
6 visualmap_opts=opts.VisualMapOpts(max_=200),
7 )
8 )
9 c.render()

當然僅僅一個治愈情況當然說明不了什么,所以我們將三種情況都以這種形式顯示出來,上代碼:
1 a = (
2 Map()
3 .add("累計確診", [list(z) for z in zip(data2_list, data3_list)], "china")
4 .set_global_opts(
5 title_opts=opts.TitleOpts(),
6 visualmap_opts=opts.VisualMapOpts(max_=200),
7 )
8 )
9
10 b = (
11 Map()
12 .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china")
13 .set_global_opts(
14 title_opts=opts.TitleOpts(),
15 visualmap_opts=opts.VisualMapOpts(max_=200),
16 )
17 )
18
19 c = (
20 Map()
21 .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
22 .set_global_opts(
23 title_opts=opts.TitleOpts(),
24 visualmap_opts=opts.VisualMapOpts(max_=200),
25 )
26 )
27
28 page = Page(layout=Page.DraggablePageLayout)
29 page.add(
30 a,
31 b,
32 c,
33 )
34 先生成render.html檔案
35 page.render()

當然如果是直接運行代碼的話展現出來的地圖不是這樣的,這個是通過后期的排版來完成的,那么在最后我們來說說是怎么排版的吧,
首先你先將上面的代碼運行之后會產生一個render.html的檔案然后你打開檔案之后可以調整整個頁面的布局,根據自己的喜歡來調整,接著點擊左上角的“Save Config”將這個json檔案保存到跟render.html這個檔案同一個路徑之下,最后運行一下代碼:
1 #完成上一步之后把 page.render()這行注釋掉
2 #然后循行這下面
3 Page.save_resize_html("render.html",
4 cfg_file="chart_config.json",
5 dest="my_test.html")
這樣以后會產生一個my_test.html這個檔案就是我們上面展示的那樣啦,以上就是我們這次的結果,從資料的獲取到資料可視化,怎么說呢pyecharts還具有其他強大的可視化功能,
python的特色
? 簡單
? 易于學習
? 自由開放
? 跨平臺
? 可嵌入
? 豐富的庫
學習資源
學習資源是學習質量和速度的保證,因此找到高質量的學習資源對我們來說也是非常重要的,網上資源浩如煙海,我只有一條建議,那就是不要只依靠一個來源,充分利用那些型別各異的采用了不同交付方式的資源,以此來深化你的學習,以下是我用來學習Python的一些資源;
一、Python所有方向的學習路線
Python所有方向的技術點做的整理,形成各個領域的知識點匯總,它的用處就在于,你可以按照上面的知識點去找對應的學習資源,保證自己學得較為全面,

二、學習軟體
工欲善其事必先利其器,學習Python常用的開發軟體都在這里了,給大家節省了很多時間,

三、全套PDF電子書
書籍的好處就在于權威和體系健全,剛開始學習的時候你可以只看視頻或者聽某個人講課,但等你學完之后,你覺得你掌握了,這時候建議還是得去看一下書籍,看權威技術書籍也是每個程式員必經之路,

四、入門學習視頻
我們在看視頻學習的時候,不能光動眼動腦不動手,比較科學的學習方法是在理解之后運用它們,這時候練手專案就很適合了,


五、實戰案例
如果不把所學知識付諸應用,你是不會知道自己有幾斤幾兩的,專案是評估你所掌握知識的一種好方法,并且絕對是簡歷的重要加分項,找到一個感興趣的專案去鉆研,你學到的很有可能會比看網路課程更多,實踐始終是學習一門技術的最佳方法,所以光學理論是沒用的,要學會跟著一起敲,要動手實操,才能將自己的所學運用到實際當中去,這時候可以搞點實戰案例來學習,

六、面試資料
我們學習Python必然是為了找到高薪的作業,下面這些面試題是來自阿里、騰訊、位元組等一線互聯網大廠最新的面試資料,并且有阿里大佬給出了權威的解答,刷完這一套面試資料相信大家都能找到滿意的作業,



這份完整版的Python全套學習資料已經上傳CSDN,朋友們如果需要可以微信掃描下方CSDN官方認證二維碼【免費獲取】

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/413910.html
標籤:python
