寫在前文，首先宣告博主對資料分析領域也在不斷學習當中，文章中難免可能會出現一些錯誤，歡迎大家及時指正，博主在此之前也曾對不同量級、不同領域的資料進行過分析，但是在程序中總是感覺有許多困惑，即自己也會問自己？自己分析的是否全面，是否有價值，從哪些方面出發？對于這些問題博主做了思考，歸根到底還是在理論上，在閱讀了相關的專業書籍和材料的基礎上總結出本文，希望能給大家帶來識訓，同時由于內容過多，計劃分三次完成全部內容，同時如果大家感覺對自己有幫助的話，記得收藏，博主會不斷完善本文的缺陷和不足，希望真正能給大家帶來識訓！

?一、什么是資料分析

二、基礎分析指標和術語

2.1 平均數

2.2 絕對數與相對數

2.3 百分比與百分點

2.4 頻數與頻率

2.5 比例與比率

2.6 倍數與番數

2.7 同比與環比

三、資料分析方法論

3.1PEST分析法

3.2 5W2H分析法

3.3 邏輯樹分析法

3.4 4P營銷理論

3.5 用戶使用行為理論

3.6 資料分析方法論小結

四、常用的資料分析工具

五、理解資料

5.1????重復資料處理：

5.2 缺失資料處理

5.3 資料抽取

一、什么是資料分析

資料分析的一般流程：

二、基礎分析指標和術語

2.1 平均數

我們在日常生活中提到的平均數，一般是指算術平均數，就是一組資料的算術平均值，即全部資料累加后除以資料個數，算術平均數是非常重要的基礎性指標，它的特點是將總體內各單位的數量差異抽象化，代表總體的一般水平，掩蓋了總體內各單位的差異，

2.2 絕對數與相對數

絕對數是反映客觀現象總體在一定時間、地點條件下的總規模、總水平的綜合性指標，也是資料分析中常用的指標，如GDP、總人口等，此外，絕對數也可以表現為在一定時間、地點條件下數量增減變化的絕對數，比如一班學生比二班學生多20人，
相對數是指由兩個有聯系的指標對比計算而得到的數值，是用以反映客觀現象之間數量聯系程度的綜合指標，計算相對數的基本公式是:
相對數=自身數值數值/與其進行對比的數值

2.3 百分比與百分點

百分比是相對數中的一種，他表示一個數是另一個數的百分之幾，也成為百分率或者百分數，百分點則是指不同時期以百分數的形式表示的相對指標的變動幅度
舉個簡單的例子：在學校高三誓師大會上，校長振臂高呼，今年我們的一本升學率是60%，比去年50%整整提高了10%
學習完百分比和百分點概念的你們是不是可以很輕松的發現其中的問題，對于幅度的變化不宜使用百分數來表示，因此校長正確的講話應該是：今年我們的一本升學率是60%，比去年50%整整提高了10個百分點！（就算你學會了請別在你們校長老師講話時直接DISS，說了也不要說時看小王這篇博客學會的）

2.4 頻數與頻率

頻數是指一組資料中個別資料重復出現的次數，而頻率則表示每組類別次數與總次數的比值，它代表某類別在總體中出現的頻繁程度，一般采用百分數表示，所有組的概率夾在一起等于100%，頻數是絕對是，而頻率是相對數，
舉個簡單的例子：某班級共有30人，其中男生15人，女生15人，這里的15人就是頻數，而男生在該班的比例為50%，這50%指的就是頻率，

2.5 比例與比率

比例指的是在總體中各部門數值占全部數值的比重，通常反應的是總體的構成和結構，比率則是指不桶類別數值的對比，反映的是一個整體之間各部分的關系，
舉個簡單的例子：還是我們上個例子提到的那個班級，男生有15人，總共有30人，那么男生和女生的比例就是15：30，而男生和女生之間的比率則是15：15，即1：1.

2.6 倍數與番數

倍數和番數同樣屬于相對數，倍數所表示的是一個數除以另一個數所表示的商，番數則是指原來數量的2的N次方倍數
舉個簡單的例子：公司年會上，老總振臂高呼，今年我們場產量由去年的10萬件翻了兩番，提升到今年的20萬件，我們的成本由去年的2萬元，下降了一倍，今年的成本是1萬元
學習完倍數和番數的我們很容易就可以發現上面老總振臂高呼的其實是不恰當的，正確的表達應該是：今年我們場產量由去年的10萬件，提升到今年的20萬件，整體翻了一番，我們的成本由去年的2萬元，下降到了50%，今年的成本是1萬元，

2.7 同比與環比

同比是指與歷史同時期進行比較得到的數值，該指標反映的是相對情況，環比則是指與前一個統計期進行比較得到的數值，該指標主要反映的是事物逐期發展的情況，
兩者所反映盡管都是變化速度，但兩者反映的變化內涵是完全不同的，一般來說，環比可以與環比相比較，而不能拿同比與環比相比較；而對于同一個地方，考慮時間縱向上發展趨勢的反映，則往往要把同比與環比放在一起進行對照，

三、資料分析方法論

資料分析方法論與資料分析法的區別：資料分析方法論主要是用來指導資料分析師進行一次完整的資料分析，它更多的是指資料分析思路，比如從哪些方面展開的資料分析，即從宏觀角度來指導如何進行資料分析，更像是一個資料分析的一個前期規劃，來指導后續作業的展開，而資料分析方法則是指具體的分析方法，比如我們常見的對比分析、交叉分析、相關分析、回歸分析、聚類分析等等，資料分析法主要從微觀來對資料進行分析
舉個簡單的例子：什么是資料分析方法論？對一個城市的規劃書就是一個方法論，因為他是為城市的發展來指引前進的方向，而在具體的實施程序中需要不同部門不同專業的人士來進行具體部分的操作，這就是分析方法
資料分析方法論的重要性：為什么說資料分析方法論很重要那，在我們進行一些分析的時候是不是也會產生疑問，我的分析完整么？有說服性么？合理么？這就是為什么說資料分析方法論很重要的原因，只有在具體的理論和業務知道的情況下，才能確保我么的分析是合理有效的，
- 資料分析方法論的幾個作用：
  - 可以幫助我們理清楚分析的思路，確保分析程序的體系化
  - 可以看出問題之間的關系
  - 為資料分析的開展指引方向和確保分析結果的有效準確合理性

常用的資料分析方法論

常見的營銷方面的理論模型有4P、用戶使用行為、STP理論、SWOT等等
常見的管理方面的理論模型有PEST、5W2H、時間管理、生命周期、邏輯樹、金字塔、SMART原則，其中比較經典實用的主要有：PEST分析法、5W2H、邏輯樹、4P、用戶使用行為

3.1PEST分析法

PEST分析法用于對宏觀環境進行分析，宏觀環境又稱一般環境，是指影響一切行業和企業的各種宏觀力量，對宏觀環境因素做分析時，由于不同行業和企業有其自身特點和經營需要，分析的具體內容會有差異，但一般都應對政治（ Political)、經濟( Economic )、技術(Technological )和社會 (Social ）這四大類影響企業的主要外部環境因素進行分析，這種方法簡稱為PEST分析法，

政治環境：包括國家社會制度、政府方針、政策、法令，構成政治環境的關鍵指標有：政治體制、經濟體制、財政政策、稅收政策、產業政策、投資政策、國防開支水平、政府補貼水平、民眾對政治的參與度等等，
經濟環境：經濟環境主要包括宏觀和微觀兩個方面的內容，宏觀主要是指國家的國民收入、國內生產總值及其變化情況，以及通過這些指標反映的國民經濟發展水平和發展速度，微觀經濟環境主要指企業所在地區和所服務地區的消費者的收入水平等,構成經濟環境的關鍵指標主要有：GDP增長率、進出口額及增長率、利率、匯率、通貨膨脹率、消費價格指數、居民可支配收入、失業率、勞動生產率等等
社會環境：社會環境包括一個國家或地區的居民受教育程度和文化水平、宗教信仰、風俗習慣、價值觀念、審美觀點等，構成社會文化環境的關鍵指標有:人口規模、性別比例、年齡結構、出生率、死亡率、種族結構、婦女生育率、生活方式、購買習慣、教育狀況、城市特點、宗教信仰狀況等因素，
技識訓境:技識訓境除了要考察與企業所處領域直接相關的技術手段的發展變化外，還應及時了解:國家對科技開發的投資和支持重點、該領域技術發展動態和研究開發費用總額、技術轉移和技術商品化速度、專利及其保護情況等，構成技識訓境的關鍵指標主要有：新技術的發明、技術商品化速度、國家重點支持專案、國家投入的研發費用、專利個數、專利保護情況等，

3.2 5W2H分析法

5w2H分析法是以五個W開頭的英語單詞和兩個H開頭的英語單詞進行提問，從回答中發現解決問題的線索，即何因（ why )、何事（ what )、何人 ( who )、何時( When )、何地（ where ) 、如何做(How )、何價( How much )，這就構成了5W2H分析法的總框架

5w2H分析法操作簡單方便、易于理解，通常應用于企業營銷、管理活動，對于決策和執行活動有很大的幫助，可以彌補考慮問題中的疏漏，幫助建立資料分析的框架
比如對用戶購買行為的分析

3.3 邏輯樹分析法

邏輯樹分析法，又稱為麥肯錫邏輯樹，其最大的優勢在于，將繁雜的資料作業細分為多個關系密切的部分，不斷地分解問題，幫助人們在紛繁復雜的現象中找出關鍵點，推動問題的解決，邏輯樹是分析問題常使用的一種工具，他將各種問題進行羅列，從最高層開始，逐步向下發展，把一個已知的問題看作樹干，考慮這個問題與其他問題的相關性，有助于在分析程序中快速理清思路，避免進行重復和無關的思考，邏輯樹的使用需要遵循以下原則：
要素化：把相同問題總結歸納成要素
框架化：將各個要素組織成框架，遵守不重不漏的原則
關聯化：框架內的各要素要保持必要的相互關系

3.4 4P營銷理論

4P營銷理論產生于20世紀60年代的美國，它是隨著營銷組合理論的提出而出現的，營銷組合實際上有幾十個要素，這些要素可以概括為4類，產品( Product )、價格（ Price )、渠道( Place )、促銷（ Promotion )，即著名的4P營銷理論，

3.5 用戶使用行為理論

用戶使用行為是指用戶為獲取、使用物品或服務所采取的各種行動，用戶對產品首先需要有一個認知、熟悉的程序，然后使用，再決定是否繼續消費使用，最后成為核心用戶，

3.6 資料分析方法論小結

PEST分析理論主要用于行業分析，
4P分析理論主要用于公司整體經營情況分析，
邏輯樹分析理論可用于業務問題專題分析，
用戶使用行為理論的用途較單一，就是用于用戶行為研究分析，
5w2H分析理論的用途相對廣泛，可用于用戶行為分析、業務問題專題分析等，

雖然上述的方法論一般用于解決的分析問題不同，但是可以進行嵌套使用，比如用邏輯樹來搭建分析框架，從4P的角度進行分析等等，最關鍵的是一定要具體問題具體分析！

四、常用的資料分析工具

工欲善其事，必先利其器，熟練掌握一個資料分析工具可以事半功倍的解決問題，資料分析工具有多種，它們的使用都離不開資料獲取、資料處理、資料分析、資料展現這幾方面常用的資料分析工具如Excel、sPSS、R、Python等
Excel是日常作業中最常用的一款工具之一，它是Microsoft公司的-款電子表格軟體，擁有直觀的界面、出色的計算功能和圖表工具，是目前最流行的資料處理、分析工具，它可以進行各種資料處理、資料分析和資料可視化，甚至也可以用于報告撰寫，廣泛地應用于運營、管理、分析、財務、金融等眾多領域，它的特點就是簡單、易用，缺點則是資料存盤有限、計算速度慢，擴展功能少，
SPSS（Statistical Product and Service Solutions），“統計產品與服務解決方案”軟體，最初軟體全稱為“社會科學統計軟體包”（Solutions Statistical Package for the Social Sciences），但是隨著SPSS產品服務領域的擴大和服務深度的增加，SPSS公司已于2000年正式將英文全稱更改為“統計產品與服務解決方案”，這標志著SPSS的戰略方向正在做出重大調整，SPSS為IBM公司推出的一系列用于統計學分析運算、資料挖掘、資料分析和決策支持任務的軟體產品及相關服務的總稱，有Windows和Mac OS X等版本，其優點主要有：操作簡便、功能強大、資料兼容，

R語言 R是一種免費、自由的編程語言，所以也稱為R語言(其Logo 如圖1-19所示)，它由統計學家發明和發展，R解決的問題只有一個，就是如何挖掘資料價值的問題，R是一款強大的資料統計分析、資料可視化工具，其特點有免費開源、繪圖功能強大、程式包豐富，但是對新手友好度不高，入門門檻比較高，同時同Python相比R計算速度較慢

Python是一種免費、自由的編程語言，所以也稱為Python語言，可以稱得上既簡單又功能強大的編程語言，它可用于軟體、游戲、Web開發以及運維,當然也可以應用于資料分析、資料挖掘、資料可視化等,是一款強大的資料分析、資料挖掘工具，隨著人工智能技術的流行，Python語言越來越普及，
出于對方法的優缺點和普及性的選擇，本文選取基礎的EXCEL和Python作為主要分析工具

五、理解資料

常用的資料型別可以歸結為兩大類：字符型與資料型和邏輯性，
- 字符型資料是不具有算術運算能力的文本資料型別，它包括中文字符、英文字符、數字字符（非數值型）等字符，字符型資料屬于分類資料，即可以按字符型資料進行分類統計，如按性別分類統計，按部門分類統計，按姓名分類統計，
- 數值型資料表示數量，是可進行算術運算的資料型別，是否可用算術方法進行運算，是區分資料型別的重要特征，數值型資料屬于一種特殊分類資料，即可以按數值型資料進行分類統計，如按每個年齡值進行分類統計，按每個收入值進行分類統計，不過類別值越多，其分類就越細，通常也就越難發現潛在規律，所以對資料值型資料進行分類統計，一般先將數值型資料進行磁區間處理，再按區間段進行分類統計，
- 邏輯型資料只有TRUE 和 FALSE兩種，分別代表是和否
- 在Excel中，一般情況下，字符型資料在單元格中默認靠左對齊，數值型資料在單元格中默認靠右對齊，邏輯型資料默認居中顯示，
常見的資料處理方法包括：資料清洗、資料合并、資料抽取、資料計算、資料轉換幾大類方法

資料清洗：主要是將多余的資料進行篩選清除，將缺失的資料補充完整，常用的資料清洗方法主要有重復資料處理、缺失資料處理、空格資料處理，

5.1????重復資料處理：

編號
B667708
B310882
B520304
B776477
B356517
B466074
B466074
B776477
B776477
B667708
如我們有目前的這一個編號，我們怎么進行去重？
Excel函式法去重
- COUNTIF函式--COUNTIF 是一個統計函式，用于統計滿足某個條件的單元格的數量；
- countif（區域，條件），在B2輸入=COUNTIF(A:A,A2)表示在A行中共有多少個A2元素，在c2中輸入C2 =COUNTIF(A$2:A2,A2)，代表從第一個元素開始該單元格共出現了幾次
  
  編號重復標記前n個資料中有n個當前資料
  B667708 2 1
  B310882 1 1
  B520304 1 1
  B776477 3 1
  B356517 1 1
  B466074 2 1
  B466074 2 2
  B776477 3 2
  B776477 3 3
  B667708 2 2

肯定有小伙伴會問了，此時怎么得到不重復的資料那，這么做有什么意義那，此時我們只需要將C列進行篩選，篩選為1的值，即為不重復資料，

Excel高級篩選法查重

在Excel資料高級篩選中選擇不重復的記錄

Excel條件格式法查重

在開始選項卡中點擊條件格式選擇突出顯示單元格原則，選擇重復值

資料透視表法查重

用資料透視表統計各資料出現的頻次，出現兩次以上認為該資料屬于重復資料

找出重復資料

使用python--pandas包下的duplicated函式

DataFrame.duplicated(subset=None, keep='first')

subset:取得一列或列標簽串列，默認值為無，傳遞列后，它將僅將它們視為重復項，
keep:控制如何考慮重復值，它只有三個不同的值，默認值為“第一”，
->如果為“第一個”，則它將第一個值視為唯一值，并將其余相同的值視為重復值，
->如果為“ last”，則它將last值視為唯一值，并將其余相同的值視為重復值，
->如果為False，則將所有相同的值視為重復項，

data.duplicated()   #回傳布爾型資料，告訴重復值的位置
df.duplicated.sum()  #說明重復值的總數
data[data.duplicated()]  #列印重復值

重復資料洗掉

1、使用EXCEL選單欄里的洗掉重復值將重復的資料洗掉掉

2、使用python--pandas包下的duplicated函式洗掉重復值將重復的資料洗掉掉

#inplace=True表示直接在源資料上進行操作
data.drop_duplicates(inplace=True)

5.2 缺失資料處理

在資料處理程序中，缺失值的存在是不可避免的，缺失值過多反映在資料收集程序中出現問題，將直接影響到最終資料分析的準確性，缺失資料在總資料的10%以下方是可以接受的標準

對缺失值的處理一般采用批量填充

對于上述表格想要快速填充空值應該怎么做那？CTRL+G定位條件中選擇空值，選上后輸入公式（本例中單點一下“張三”即可），在CTRL+ENTER進行批量填充

可以看到所有的空值全部被選擇上了

批量填充完畢

空格處理

可以采用TRIM函式 TRIM（TEXT)可以洗掉文本前后的空格，而保留文本中間的空格

在Python中洗掉字串中所有空格有：使用replace()函式、使用split()函式+join()函式、使用Python正則運算式，正則運算式可以查看（Python-正則運算式總結+常用示例）

資料合并

通常資料表中現有的資料欄位難以滿足我們所有的資料分析需求，我們可以對現有的欄位進行資料合并、資料抽取、資料計算或者資料轉換等處理，形成資料分析所需要的新欄位，資料合并是指綜合資料表中某幾個欄位的資訊或不同記錄資料，將它們組合成一個新欄位、新記錄資料，常用的操作有欄位合并、欄位匹配，

1、CONCAT(text1, [text2],…)，

如果結果字串超過 32767 個字符（單元格限制），則 CONCAT 回傳 #VALUE! 錯誤，

引數	說明
text1 (所需的)	要聯接的文本項，字串或字串陣列，如單元格區域，
[text2， ...] (可選)	要聯接的其他文本項，文本項最多可以有 253 個文本引數，每個引數可以是一個字串或字串陣列，如單元格區域，

2、連接符& 可以直接合并多個單元格的內容，如你好&excel 輸出你好excel
3、concat和&鏈接日期資料時得到的都是字符型資料，excel中無法將其識別為日期，不能進行相應的計算，如果想生成相應的日期型別資料，需要使用DATE函DATE(year,month,day)，
4、如果有大量的表格分布在不同的檔案夾中如何進行合并那？可以查看Python遍歷目錄下的所有檔案、讀取、千萬條資料合并詳解

5.3 資料抽取

常見的資料抽取方法有欄位拆分和隨機抽樣：
欄位拆分是指：是指保留原始資料表中某些欄位的部分資訊，形成一個新欄位
隨機抽樣是指：按照隨機的原則，也就是保證總體中每個樣本都有同等機會被抽中的原則，進行樣本抽取的一種方法
在EXCEL中進行隨機抽樣可以使用RAND（）函式，RAND 回傳了一個大于等于 0 且小于 1 的平均分布的隨機實數，每次計算作業表時都會回傳一個新的隨機實數，
舉例說明：如果想隨機抽取60-70之間的數，可以寫成rand()*10+60,也可以使用RANDBETWEEN()函式

不經一番寒徹骨，怎得梅花撲鼻香

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/421408.html

標籤：AI

上一篇：Matplotlib資料可視化進階

下一篇：python使用matplotlib可視化、為X軸設定軸標簽位置及其對應的標簽文本(set label locations and corresponding labels in matplotlib

編號	重復標記	前n個資料中有n個當前資料
B667708	2	1
B310882	1	1
B520304	1	1
B776477	3	1
B356517	1	1
B466074	2	1
B466074	2	2
B776477	3	2
B776477	3	3
B667708	2	2

大資料分析那點事

一、什么是資料分析

二、基礎分析指標和術語

2.1 平均數

2.2 絕對數與相對數

2.3 百分比與百分點

2.4 頻數與頻率

2.5 比例與比率

2.6 倍數與番數

2.7 同比與環比

三、資料分析方法論

3.1PEST分析法

3.2 5W2H分析法

3.3 邏輯樹分析法

3.4 4P營銷理論

3.5 用戶使用行為理論

3.6 資料分析方法論小結

四、常用的資料分析工具

五、理解資料

5.1????重復資料處理：

5.2 缺失資料處理

5.3 資料抽取