作者|GUEST
編譯|VK
來源|Analytics Vidhya
介紹

檢驗是統計學中最基本的概念之一,不僅在資料科學中,假設檢驗在各個領域都很重要,想知道怎么做?讓我們舉個例子,現在有一個lifebuoy沐浴露,
沐浴露廠商聲稱,它殺死99.9%的細菌,他們怎么能這么說呢?必須有一種測驗技術來證明這種說法是正確的,所以假設檢驗用來證明一個主張或任何假設,
目錄
-
假設檢驗的定義
-
零和替代假設檢驗
-
簡單假設檢驗和復合假設檢驗
-
單尾和雙尾檢驗
-
臨界區
-
I型和II型錯誤,
-
統計學意義
-
信心水平
-
重要程度
-
P值
這個博客將這些概念分解成小部分,這樣你就能理解它們的動機和用途,當你讀完這個博客,假設檢驗的基礎知識就會很清楚了!!
假設檢驗的定義
假設是關于引數值(均值、方差、中值等)的陳述、假設或主張,
假設是對你周圍世界的某件事的有根據的猜測,它應該可以通過實驗或觀察來測驗,
比如說,如果我們說“多尼是有史以來最好的印度隊長”,這是一個假設,我們是根據他擔任隊長期間球隊的平均輸贏情況做出的,我們可以根據所有的匹配資料來測驗這個陳述句,
零假設和替代假設檢驗
零假設是在假設為真的前提下,檢驗假設是否可能被拒絕,類似無罪的概念,我們假定無罪,直到我們有足夠的證據證明嫌疑人有罪,
簡單地說,我們可以把零假設理解為已經被接受的陳述,例如,天空是藍色的,我們已經接受這個宣告,
用H0表示,
替代假設補充了零假設,它與原假設相反,替代假設和原假設一起覆寫了總體引數的所有可能值,
用H1表示,
讓我們用一個例子來理解這一點:
一家肥皂公司聲稱他們的產品平均殺死99%的細菌,為了檢驗這家公司的主張,我們將提出零和替代假設,
零假設(H0):平均值等于99%
替代假設(H1):平均值不等于99%,
注意:當我們檢驗一個假設時,我們假設原假設是真的,直到樣本中有足夠的證據證明它是假的,在這種情況下,我們拒絕原假設而支持替代假設,
如果樣本不能提供足夠的證據讓我們拒絕零假設,我們不能說零假設是真的,因為它僅僅基于樣本資料,零假設成立需要研究整個總體資料,
簡單假設檢驗和復合假設檢驗
當一個假設指定了引數的精確值時,這是一個簡單的假設,如果它指定了一個值的范圍,則稱為復合假設,例如
-
某電單車公司聲稱某車型每升平均行駛里程為100公里,這是一個簡單假設的案例,
-
一個班學生的平均年齡大于20歲,這是一個復合假設,
單尾和雙尾假設檢驗
如果替代假設在兩個方向(小于和大于)給出了在零假設中指定的引數值的替代,則稱為雙尾檢驗,
如果替代假設只在一個方向(小于或大于)給出了在零假設中指定的引數值的替代,則稱為單尾檢驗,例如
- H0:平均值等于100
- H1:平均值不等于100
根據H1,平均值可以大于或小于100,這是一個雙尾檢驗的例子
同樣,
- H0:平均值>=100
- H1:平均值<100
在這里,平均值不到100,這叫做單尾檢驗,
拒絕域
拒絕域是樣本空間中的拒絕區域,如果計算值在其中,那么我們就拒絕零假設,
讓我們用一個例子來理解這一點:
假設你想租一套公寓,你從不同的真實國家網站列出了所有可用的公寓,你的預算是15000盧比/月,你不能再花那么多錢了,你所訂的公寓清單的價格從7000/月到30000/月不等,
你從串列中隨機選擇一個公寓,并假設以下假設:
-
H0:你要租這套公寓,
-
H1:你不會租這套公寓,
現在,既然你的預算是1.5萬,你必須拒絕所有高于這個價格的公寓,
在這里所有價格超過15000成為你的拒絕域,如果隨機公寓的價格在這個區域,你必須拒絕你的零假設,如果公寓的價格不在這個區域,你就不能拒絕你的零假設,
根據替代假設,拒絕域位于概率分布曲線的一潭訓兩條尾巴上,拒絕域是與概率分布曲線中的截止值相對應的預定義區域,用α表示,
臨界值是將支持或拒絕零假設的值分隔開的值,并根據alpha進行計算,
稍后我們將看到更多的例子,我們將清楚地知道如何選擇α,
根據另一種假設,拒絕域出現了三種情況:
案例1)這是一個雙尾檢驗,

案例2)這種情況也被稱為左尾檢驗,

案例3)這種情況也被稱為右尾檢驗,

I型和II型錯誤
因此,第一類和第二類錯誤是假設檢驗的重要課題之一,讓我們把這個話題分解成更小的部分來簡化它,

一個假正例(I型錯誤)——當你拒絕一個真的零假設時,
假負性(II型錯誤)——當你接受一個錯誤的零假設時,
-
犯I型錯誤(假正例)的概率等于臨界區α的顯著性水平或大小,
α=P[當H0為真時拒絕H0]
-
犯II型錯誤(假陰性)的概率等于β,
β=P[當H1為真時不拒絕H0]
例子:
這個人因犯有入室盜竊罪而被捕,由法官組成的陪審團必須裁定有罪或無罪,
H0:人是無辜的
H1:人有罪
第一類錯誤是如果陪審團判定某人有罪[拒絕接受H0],盡管此人是無辜的[H0是真的],
第二類錯誤將是當陪審團釋放該人[不拒絕H0]雖然該人有罪[H1是真的],
統計學意義
為了理解這個話題,讓我們考慮一個例子:假設有一家糖果廠每天生產500克的糖果,工廠維修后的一天,一名工人聲稱他們不再生產500克的糖果,可能是少了或多了,
那么,這名工人憑什么宣稱這一錯誤?那么,我們應該在哪里畫一條線來決定糖果條重量的變化呢?這一決定/界限在統計學上具有重要意義,
置信水平
顧名思義,我們有多自信:我們在做決定時有多自信,LOC(置信水平)應大于95%,不接受低于95%的置信度,
顯著性水平(α)
顯著性水平,用最簡單的術語來說,就是當事實上是真的時,錯誤地拒絕零假設的臨界概率,這也稱為I型錯誤率,
這是I類錯誤的概率,它也是拒絕域的大小,
一般來說,在測驗中,它是非常低的水平,如0.05(5%)或0.01(1%),
如果H0在5%的顯著性水平上沒有被拒絕,那么我們可以說我們的零假設是正確的,有95%的把握,
P值
假設我們在1%的顯著性水平上進行假設檢驗,
H0:平均值<X(我們只是假設一個單尾檢驗的情況,)
我們得到臨界值(基于我們使用的測驗型別),發現我們的測驗統計值大于臨界值,因此,我們必須在這里拒絕零假設,因為它位于拒絕域,
如果零假設在1%時被拒絕,那么可以肯定的是,在更高的顯著性水平上,比如5%或10%,它會被拒絕,
如果我們的顯著性水平低于1%,那么我們是否也必須拒絕我們的假設呢?
是的,有可能發生上述情況,而“p值”正在發揮作用,
p值是可以拒絕零假設的最小顯著性水平,
這就是為什么現在很多測驗都給出p值,而且它更受歡迎,因為它給出的資訊比臨界值更多,
-
對于右尾檢驗:
p值=P[檢驗統計量>=檢驗統計量的觀察值]
-
對于左尾檢驗:
p值=p[檢驗統計量<=檢驗統計量的觀察值]
-
對于雙尾檢驗:
p值=2*p[檢驗統計量>=|檢驗統計量的觀察值|]
p值決策
我們比較p值和顯著性水平(alpha)對零假設做出決定,
-
如果p值大于alpha,我們不拒絕零假設,
-
如果p值小于alpha,我們拒絕零假設,
原文鏈接:https://www.analyticsvidhya.com/blog/2020/07/hypothesis-testing-68351/
歡迎關注磐創AI博客站:
http://panchuang.net/
sklearn機器學習中文官方檔案:
http://sklearn123.com/
歡迎關注磐創博客資源匯總站:
http://docs.panchuang.net/
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/2252.html
標籤:其他
下一篇:C++機器學習庫介紹
