背景
AB實驗可謂是互聯網公司進行產品迭代增加用戶粘性的大殺器，但人們對AB實驗的應用往往只停留在開實驗算P值，然后let it go，，，let it go ，，，
讓我們把AB實驗的結果簡單的拆解成兩個方面:
\[P(實驗結果顯著) = P(統計檢驗顯著|實驗有效)× P(實驗有效) \]
如果你的產品改進方案本來就沒啥效果當然怎么開實驗都沒用，但如果方案有效，請不要讓 statictical Hack 浪費一個優秀的idea
如果預期實驗效果比較小，有哪些基礎操作來增加實驗顯著性呢？
通常情況下為了增加一個AB實驗的顯著性，有兩種常見做法：增加流量或者增長實驗時間，但對一些可能對用戶體驗產生負面影響或者成本較高的實驗來說，上述兩種方法都略顯粗糙，
對于成熟的產品來說大多數的改動帶來的提升可能都是微小的！
在資料為王的今天，我們難道不應該采用更精細化的方法來解決問題么？無論是延長實驗時間還是增加流量一方面都是為了增加樣本量，因為樣本越多，方差越小，p值越顯著，越容易檢測出一些微小的改進，
因此如果能合理的通過統計方法降低方差，就可能更快，更小成本的檢測到微小的效果提升
CUPED(Controlled-experiment Using Pre-Experiment Data)應運而生， 下面我會簡單總結一下論文的核心方法，還有幾個Bing, Netflix 以及Booking的應用案例，
論文
Deng A, Xu Y, Kohavi R, Walker T. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-experiment Data. Proceedings of the Sixth ACM International Conference on Web Search and Data Mining. New York, NY, USA: ACM; 2013. pp. 123–132. Paper鏈接
核心方法總結
論文的核心在于通過實驗前資料對實驗核心指標進行修正，在保證無偏的情況下，得到方差更低, 更敏感的新指標，再對新指標進行統計檢驗(p值），
這種方法的合理性在于，實驗前核心指標的方差是已知的，且和實驗本身無關的，因此合理的移除指標本身的方差不會影響估計效果，
作者給出了stratification和Covariate兩種方式來修正指標，同時給出了在實際應用中可能碰到的一些問題以及解決方法.
stratifiaction
這種方式針對離散變數，一句話概括就是分組算指標，如果已知實驗核心指標的方差很大，那么可以把樣本分成K組，然后分組估計指標，這樣分組估計的指標只保留了組內方差，從而剔除了組間方差，
\[\begin{align} k &= {1,2,...,K} \\ \hat{Y}_{strat} &= \sum_{k=1}^{K} w_k * (\frac{1}{n_k}*\sum_{x_i \in k} Y_i )\\ Var(\hat{Y}) &= Var_{\text{within_strat}} + Var_{\text{between_strat}}\\ &=\sum_{k=1}^K\frac{w_k}{n} \sigma_k^2 + \sum_{k=1}^K\frac{w_k}{n} (\mu_k - \mu)^2\\ &>=\sum_{k=1}^K\frac{w_k}{n} \sigma_k^2 = Var(\hat{Y}_{strat}) \end{align} \]
Covariate
Covariate適用于連續變數，需要尋找和實驗核心指標(Y)存在高相關性的另一連續特征（X），然后用該特征調整實驗后的核心指標，X和Y相關性越高方差下降幅度越大，因此往往可以直接選擇實驗前的核心指標作為特征，只要保證特征未受到實驗影響，在隨機AB分組的條件下用該指標調整后的核心指標依舊是無偏的，
\[\begin{align} Y_i^{cov} &= Y_i - \theta(X_i - E(x))\\ \hat{Y}_{cov} &= \hat{Y} - \theta(\bar{x} - E(x))\\ \theta &= cov(X,Y)/cov(X)\\ Var(\hat{Y}_{cov}) & = Var(\hat{Y}) * (1-\theta^2) \end{align} \]
stratification和Covariate其實是相同的原理，從兩個角度來看：
- 從回歸預測的角度，實驗核心指標是Y，降低Y的方差就是尋找和Y相關的自變數X來解釋Y中資訊的程序(提升\(R^2\))，X可以是連續也可以是離散的
- 從投資組合的角度，Y是組合中的一項資產，想要降低交易Y的風險（方差）,就要做空和Y相關的X資產來對沖風險，相關性越高對沖效果越好
下圖摘自Booking的案例，他們的核心指標是每周的房間預定量，Covariate是實驗前的每周房間預定量，博客鏈接在案例分享里，
實戰攻略
covariate的選擇
這里的選擇包括兩個方面，特征的選擇和計算特征的pre-experiment時間長度的選擇，
核心指標在per-experiment的估計通常是很好的covariate的選擇，且估計covariate選擇的時間段相對越長效果越好，時間越長covariate的覆寫量越大，且受到短期波動的影響越小估計更穩定，
沒有pre-experiment資料怎么辦
這個現象在互聯網中很常見，新用戶或者很久不活躍的用戶都會面臨沒有近期行為特征的問題，作者認為可以結合stratification方法對有/無covariate的用戶進一步打上標簽，或者其實不僅局限于pre-experiment特征，只要保證特征不受到實驗影響post-experiment特征也是可以的，
而在Booking的案例中,作者選擇對這部分樣本不作處理，因為通常缺失值是用樣本均值來填充，在上述式子中就等于是不做處理，
Attention
Covariate選擇的核心是\(E(X^{treatment}) = E(X^{control})\),這一點不論你選擇什么特征, 是pre-experiment還是post-experiment都要保證，
當然也有用CUPED來矯正實驗組對照組差異的，但這個內容不在這里討論，
應用案例
Bing 加載時間對用戶點擊率的影響
論文中作者在實際AB實驗中檢驗了CUPED的效果，Bing實驗檢測檢測加載時間對用戶點擊率的影響， 一個原本運行兩周只有個別天顯著的實驗在用CUPED調整后在第一天就顯著，當把CUPED估計用的樣本減少一半后顯著性依舊超過直接使用T-test.
Netflix 多種方法的實際效果對比
Huizhi Xie,Juliette Aurisset.Improving the Sensitivity of Online Controlled Experiments: Case Studies at Netflix
Netflix嘗試了一種新的stratification, 上述論文中的stratification被稱作post-stratification因為它只在估計實驗效果時用到分組，這時用pre-experiment估計的分組概率會和隨機AB分組得到的實驗中的分組概率存在一定差異，所以Netflix嘗試在實驗前就進行分層分組，通過多個實驗結果，Netflix得到以下結論:
- 大樣本下，post-strat在實際中更靈活和pre-strat表現相當
- 能否成功找到和實驗核心指標相關的covariate是成功的關鍵
Booking.com 新日歷互動對用戶影響
How Booking.com increases the power of online experiments with CUPED
實驗效果對比如下，CUPED用更少的樣本更短的時間得到了顯著的結果，了解細節請戳上面的博客，作者講的非常通俗易懂，
想更多了解AB實驗高端系列的朋友，戳這里呦??
AB實驗的高端玩法系列1 - AB實驗人群定向/個體效果差異/HTE 論文github收藏
AB實驗的高端玩法系列3 - AB組不隨機？觀測驗驗？Propensity Score
Ref
- A/B Testing for the Next Decade. CHALLENGES, COMPETITIONS AND OPPORTUNITIES. ALEX DENG @ MICROSOFT 2015
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/65626.html
標籤：其他