資料采集習題參考答案,會持續更新,點個關注防丟失,
創作不易,一鍵三連給博主一個支持唄,
為了方便查找,已按照頭歌重新排版,朋友們按照頭歌所屬門類查找實訓哦,該篇為Pandas,
文章目錄
實訓一:Pandas初體驗
第一關:了解資料處理物件--Series
編程要求
Pandas中的資料結構
第一關答案
第二關:了解資料處理物件-DataFrame
編程要求
相關知識
第二關答案
第三關:讀取CSV格式資料
編程要求
相關知識
第三關答案
第四關:資料的基本操作——排序
編程要求
相關知識
第四關答案
第五關:資料的基本操作——洗掉
編程要求
相關知識
第五關答案
第六關:資料的基本操作——算術運算
編程要求
相關知識
第六關答案
第七關:資料的基本操作——去重
編程要求
相關知識
第七關答案
第八關:層次化索引
編程要求
相關知識
第八關答案
實訓一:Pandas初體驗
第一關:了解資料處理物件--Series
編程要求
創建一個名為
series_a的series陣列,當中值為[1,2,5,7],對應的索引為['nu', 'li', 'xue', 'xi'];創建一個名為
dict_a的字典,字典中包含如下內容{'ting':1, 'shuo':2, 'du':32, 'xie':44};將
dict_a字典轉化成名為series_b的series陣列,
相關知識
Pandas是為了解決資料分析任務而創建的,納入了大量的庫和標準資料模型,提供了高效地操作大型資料集所需的工具, 對于Pandas包,在Python中常見的匯入方法如下:
from pandas import Series,DataFrame
import pandas as pd
Pandas中的資料結構
Series: 一維陣列,類似于Python中的基本資料結構list,區別是Series只允許存盤相同的資料型別,這樣可以更有效的使用記憶體,提高運算效率,就像資料庫中的列資料;DataFrame: 二維的表格型資料結構,很多功能與R中的data.frame類似,可以將DataFrame理解為Series的容器;Panel:三維的陣列,可以理解為DataFrame的容器,
了解Series
為了開始使用Pandas,我們必需熟悉它的兩個重要的資料結構:Series 和DataFrame,雖然它們不是每一個問題的通用解決方案,但可以提供一個堅實的,易于使用的大多數應用程式的基礎, Series是一個一維的類似的陣列物件,包含一個陣列的資料(任何NumPy的資料型別)和一個與陣列關聯的資料標簽,被叫做索引 ,最簡單的Series是由一個陣列的資料構成:
In [1]:obj=Series([4,7,-5,3])In [2]:objOut[2]:0 41 72 -53 3
Series的互動式顯示的字串表示形式是索引在左邊,值在右邊,因為我們沒有給資料指定索引,一個包含整數0到N-1這里N是資料的長度)的默認索引被創建,你可以分別的通過它的values和index屬性來獲取 Series的陣串列示和索引物件:
In [3]: obj.valuesOut[3]:array([4,7,-5,3])In [4]: obj.indexOut[4]:Int64Index([0,1,2,3])
通常,需要創建一個帶有索引來確定每一個資料點的Series,
In [5]:obj2=Series([4,7,-5,3],index=['d','b','a','c'])In [6]:obj2Out[6]:d 4b 7a -5c 3
如果你有一些資料在一個Python字典中,你可以通過傳遞字典來從這些資料創建一個Series,只傳遞一個字典的時候,結果Series中的索引將是排序后的字典的鍵,
第一關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def create_series():
'''
回傳值:
series_a: 一個Series型別資料
series_b: 一個Series型別資料
dict_a: 一個字典型別資料
'''
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
series_a=Series([1,2,5,7],index=['nu','li','xue','xi'])
dict_a={'ting':1,'shuo':2,'du':32,'xie':44}
series_b=Series(dict_a)
# ********** End **********#
# 回傳series_a,dict_a,series_b
return series_a,dict_a,series_b
第二關:了解資料處理物件-DataFrame
編程要求
創建一個五行三列的名為
df1的DataFrame陣列,列名為[states,years,pops],行名['one','two','three','four','five'];給
df1添加新列,列名為new_add,值為[7,4,5,8,2],
相關知識
DataFrame是一個表格型的資料結構,是以一個或多個二維塊存放的資料表格(層次化索引),DataFrame既有行索引還有列索引,它有一組有序的列,每列既可以是不同型別(數值、字串、布爾型)的資料,或者可以看做由Series組成的字典, DataFrame創建:
dictionary = {'state':['0hio','0hio','0hio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]}frame = DataFrame(dictionary)
修改行名:
frame=DataFrame(dictionary,index=['one','two','three','four','five'])
添加修改:
frame['add']=[0,0,0,0,0]
添加Series型別:
value = Series([1,3,1,4,6,8],index = [0,1,2,3,4,5])frame['add1'] = value
第二關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def create_dataframe():
'''
回傳值:
df1: 一個DataFrame型別資料
'''
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
data={'states':['Ohio','Ohio','Ohio','Nevada','Nevada'],'years':[2000,2001,2002,2001,2002],'pops':[1.5,1.7,3.6,2.4,2.9]}
df1=DataFrame(data,index=['one','two','three','four','five'])
df1['new_add'] = [7,4,5,8,2]
# ********** End **********#
#回傳df1
return df1
第三關:讀取CSV格式資料
編程要求
將
test3/uk_rain_2014.csv中的資料匯入到df1中;將列名修改為
['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug'];計算
df1的總行數并存盤在length1中,
相關知識
在使用機器學習工具包對資料進行修改、探索和分析之前,我們必須先講外部資料匯入,使用Pandas匯入資料比Numpy要容易,在這里我們將使用英國降雨資料,資料已下好并放在本實訓的當前檔案夾,
讀取CSV
# Reading a csv into Pandas.
# 如果資料集中有中文的話,最好在里面加上 encoding = 'gbk' ,以避免亂碼問題,后面的匯出資料的時候也一樣,
df = pd.read_csv('uk_rain_2014.csv', header=0)
這里我們從csv檔案里匯入了資料,并儲存在DataFrame中,這一步非常簡單,你只需要呼叫read_csv然后將檔案的路徑傳進去就行了,header 關鍵字告訴Pandas哪些是資料的列名,如果沒有列名的話就將它設定為 None, 資料匯入pandas之后,我們該怎么查看資料呢?
查看前n行
# Getting first x rows.df.head(5)
查看后n行
# Getting last x rows.df.tail(5)
查看總行數
# Finding out how many rows dataset has.len(df)
修改列名
我們通常使用列的名字來在Pandas中查找列,這一點很好而且易于使用,但是有時列名太長,我們需要縮短列名,
# Changing column labels.df.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']
第三關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def read_csv_data():
'''
回傳值:
df1: 一個DataFrame型別資料
length1: 一個int型別資料
'''
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
df1=pd.read_csv('test3/uk_rain_2014.csv', header=0,encoding = 'gbk')
df1.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']
length1=len(df1)
# ********** End **********#
#回傳df1,length1
return df1,length1
第四關:資料的基本操作——排序
編程要求
對代碼中
s1進行按索引排序,并將結果存盤到s2;對代碼中
d1進行按值排序(index為f),并將結果存盤到d2,
相關知識
本關我們將學習處理Series和DataFrame中的資料的基本手段,我們將會探討Pandas最為重要的一些功能,
對索引進行排序
Series用sort_index()按索引排序,sort_values()按值排序; DataFrame也是用sort_index()和sort_values(),
In[73]: obj = Series(range(4), index=['d','a','b','c'])In[74]: obj.sort_index()Out[74]:a 1b 2c 3d 0dtype: int64In[78]: frame = DataFrame(np.arange(8).reshape((2,4)),index=['three', 'one'],columns=['d','a','b','c'])In[79]: frameOut[79]:d a b cthree 0 1 2 3one 4 5 6 7In[86]: frame.sort_index()Out[86]:d a b cone 4 5 6 7three 0 1 2 3
按行排序
In[89]: frame.sort_index(axis=1, ascending=False)Out[89]:d c b athree 0 3 2 1one 4 7 6 5
按值排序
Series:
In[92]: obj = Series([4, 7, -3, 2])In[94]: obj.sort_values()Out[94]:2 -33 20 41 7dtype: int64
DataFrame:
In[95]: frame = DataFrame({'b':[4, 7, -3, 2], 'a':[0, 1, 0, 1]})In[97]: frame.sort_values(by='b') #DataFrame必須傳一個by引數表示要排序的列Out[97]:a b2 0 -33 1 20 0 41 1 7
第四關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def sort_gate():
'''
回傳值:
s2: 一個Series型別資料
d2: 一個DataFrame型別資料
'''
# s1是Series型別資料,d1是DataFrame型別資料
s1 = Series([4, 3, 7, 2, 8], index=['z', 'y', 'j', 'i', 'e'])
d1 = DataFrame({'e': [4, 2, 6, 1], 'f': [0, 5, 4, 2]})
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
s2=s1.sort_index()
d2=d1.sort_values(by='f')
# ********** End **********#
#回傳s2,d2
return s2,d2
第五關:資料的基本操作——洗掉
編程要求
在
s1中洗掉z行,并賦值到s2;
d1中洗掉yy列,并賦值到d2,
相關知識
洗掉指定軸上的項
即洗掉Series的元素或DataFrame的某一行(列)的意思,我們可以通過物件的drop(labels, axis=0)方法實作此功能,
洗掉Series的一個元素:
In[11]: ser = Series([4.5,7.2,-5.3,3.6], index=['d','b','a','c'])In[13]: ser.drop('c')Out[13]:d 4.5b 7.2a -5.3dtype: float64
洗掉DataFrame的行或列:
In[17]: df = DataFrame(np.arange(9).reshape(3,3), index=['a','c','d'], columns=['oh','te','ca'])In[18]: dfOut[18]:oh te caa 0 1 2c 3 4 5d 6 7 8In[19]: df.drop('a')Out[19]:oh te cac 3 4 5d 6 7 8In[20]: df.drop(['oh','te'],axis=1)Out[20]:caa 2c 5d 8
需要注意的是drop()回傳的是一個新物件,原物件不會被改變,
第五關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import numpy as np
import pandas as pd
def delete_data():
'''
回傳值:
s2: 一個Series型別資料
d2: 一個DataFrame型別資料
'''
# s1是Series型別資料,d1是DataFrame型別資料
s1 = Series([5, 2, 4, 1], index=['v', 'x', 'y', 'z'])
d1=DataFrame(np.arange(9).reshape(3,3), columns=['xx','yy','zz'])
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
s2=s1.drop('z')
d2=d1.drop(['yy'],axis=1)
# ********** End **********#
# 回傳s2,d2
return s2, d2
第六關:資料的基本操作——算術運算
編程要求
- 讓
df1與df2相加得到df3,并設定默認填充值為4,
相關知識
算術運算(+,-,*,/)
DataFrame中的算術運算是df中對應位置的元素的算術運算,如果沒有共同的元素,則用NaN代替,
In[5]: df1 = DataFrame(np.arange(12.).reshape((3,4)),columns=list('abcd'))In[6]: df2 = DataFrame(np.arange(20.).reshape((4,5)),columns=list('abcde'))In[9]: df1+df2Out[9]:a b c d e0 0 2 4 6 NaN1 9 11 13 15 NaN2 18 20 22 24 NaN3 NaN NaN NaN NaN NaN
此外,如果我們想設定默認的其他填充值,而非NaN的話,可以傳入填充值,
In[11]: df1.add(df2, fill_value=0)Out[11]:a b c d e0 0 2 4 6 41 9 11 13 15 92 18 20 22 24 143 15 16 17 18 19
第六關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import numpy as np
import pandas as pd
def add_way():
'''
回傳值:
df3: 一個DataFrame型別資料
'''
# df1,df2是DataFrame型別資料
df1 = DataFrame(np.arange(12.).reshape((3, 4)), columns=list('abcd'))
df2 = DataFrame(np.arange(20.).reshape((4, 5)), columns=list('abcde'))
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
df3=df1.add(df2,fill_value=4)
# ********** End **********#
# 回傳df3
return df3
第七關:資料的基本操作——去重
編程要求
- 去除
df1中重復的行,并把結果保存到df2中,
相關知識
duplicated()
DataFrame的duplicated方法回傳一個布爾型Series,表示各行是否是重復行,具體用法如下:
In[1]: df = DataFrame({'k1':['one']*3 + ['two']*4, 'k2':[1,1,2,3,3,4,4]})In[2]: dfOut[2]:k1 k20 one 11 one 12 one 23 two 34 two 35 two 46 two 4In[3]: df.duplicated()Out[3]:0 False1 True2 False3 False4 True5 False6 Truedtype: bool
drop_duplicates()
drop_duplicates()用于去除重復的行數,具體用法如下:
In[4]: df.drop_duplicates()Out[4]:k1 k20 one 12 one 23 two 35 two 4
第七關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def delete_duplicated():
'''
回傳值:
df2: 一個DataFrame型別資料
'''
# df1是DataFrame型別資料
df1 = DataFrame({'k1': ['one'] * 3 + ['two'] * 4, 'k2': [1, 1, 2, 3, 3, 4, 4]})
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
df2=df1.drop_duplicates()
# ********** End **********#
# 回傳df2
return df2
第八關:層次化索引
編程要求
- 對
s1進行資料重塑,轉化成DataFrame型別,并復制到d1,
相關知識
層次化索引
層次化索引(hierarchical indexing)是pandas的一項重要功能,它使我們能在一個軸上擁有多個(兩個以上)索引級別,請看以下例子:
In[1]:data = Series(np.random.randn(10), index = [['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd' ],[1,2,3,1,2,3,1,2,2,3]])In[2]:dataOut[2]:a 1 0.1692392 0.6892713 0.879309b 1 -0.6991762 0.2604463 -0.321751c 1 0.8931052 0.757505d 2 -1.2233443 -0.802812dtype: float64
索引方式
In[3]:data['b':'d']Out[3]:b 1 -0.6991762 0.2604463 -0.321751c 1 0.8931052 0.757505d 2 -1.2233443 -0.802812dtype: float64
內層選取
In[4]:data[:, 2]Out[4]:a 0.689271b 0.260446c 0.757505d -1.223344dtype: float64
資料重塑
將Series轉化成DataFrame:
in[5]:data.unstack()Out[5]:1 2 3a 0.169239 0.689271 0.879309b -0.699176 0.260446 -0.321751c 0.893105 0.757505 NaNd NaN -1.223344 -0.802812
第八關答案
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
import numpy as np
def suoying():
'''
回傳值:
d1: 一個DataFrame型別資料
'''
#s1是Series型別資料
s1=Series(np.random.randn(10),
index=[['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd'], [1, 2, 3, 1, 2, 3, 1, 2, 2, 3]])
# 請在此添加代碼 完成本關任務
# ********** Begin *********#
d1=s1.unstack()
# ********** End **********#
# 回傳d1
return d1
suoying()
資料采集習題參考答案,會持續更新,點個關注防丟失,
創作不易,一鍵三連給博主一個支持唄,

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/337598.html
標籤:AI
