這篇是treatment effect估計相關的論文系列第一篇所以會啰嗦一點多給出點背景，
論文
Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of
Sciences.
Rzepakowski, P. and Jaroszewicz, S., 2012. Decision trees for uplift modeling with single and multiple treatments. Knowledge and Information Systems, 32(2), pp.303-327
背景
論文給出基于決策樹估計實驗對不同用戶的不同影響，并提出Honest，variance Penalty演算法旨在改進CART在tree growth程序中的過擬合問題，
我們舉個例子：科研人員想衡量一種新的降血壓藥對病人的效果，發現服藥的患者有些血壓降低但有些血壓升高，于是問題可以抽象成我們希望預測降壓藥會對哪些病人有效？相似的問題經常出現在經濟，政治決策，醫療研究以及當下的互聯網AB測驗中，
Treatment effect之所以比通常的預測問題要更難解決，因為groud-truth在現實中是無法直接觀測到的，一個人在同一時刻要么吃藥要不么吃藥，所以你永遠無法知道吃藥的人要是沒吃藥血壓會不會也降低，或者沒吃藥的人要是吃了藥血壓會不會降低，
既然個體的treatment effect無法估計，只能退而求其次去估計群體的treatment effect- ATE (Average treatment effect),既全部用戶中（服藥效果- 未服藥效果）， 但是當出現個體效果差異時ATE無法反應區域效果（E.g.樣本稀釋），這時我們需要估計相似群體的treatment effect-CATE（Conditional average treatment effect）
用數學抽象一下上述問題：
\[\begin{align} & {(X_i, Y_i,T_i): X_i \in X} \\ & \text{where X是特征，Y是Response，T是AB實驗分組}\\ &T_i \in {0,1} \quad \\ &Y_i = \begin{cases} Y(0) & \quad T_i = 0\\ Y(1) & \quad T_i = 1\\ \end{cases}\\ &CATE: \tau(x) = E(Y_i(1)-Y_i(0)|X=x)\\ \end{align} \]
模型
這里尋找相似用戶的方式是通過決策樹，樹相較線性模型的優點毫無疑問是它對特征型別的兼容，尤其考慮到實際情況中會存在大量離散特征如性別，地域等等，
那究竟怎樣grow tree來找到區域用戶群, 取決于cost function的定義，一般決策/回歸樹是對Y的擬合例如RMSE，或者cross-entropy等等，這里作者選擇最大化\(Y(1)-Y(0)\)作為cost Function， 既我們通過樹劃分出的區域人群可以實作區域實驗效果最大化（正向或負向）， cost function 如下：
\[\begin{align} &S_l = {(X_i, Y_i,T_i): X_i \in X_l} \quad \text{葉節點-區域樣本}\\ &\hat{\mu_t}(S_l) = \frac{1}{N_{l,t}}\sum_{T_i=t, i \in S_l}Y_i \quad \text{AB組Y的均值} \\ &\hat{\tau}(S_l) = \hat{\mu_1}(S_l) -\hat{\mu_0}(S_l) \quad \text{葉節點CATE}\\ &F(S_l) = N_l * \hat{\tau}^2(S_l)\\ & \text{cost fucntion}: max \sum_{i=1}^L F(S_i)\\ \end{align} \]
熟悉決策樹的朋友也就知道后續split criterion就是去尋找最大化CATE增長的特征和閾值，對決策樹不太熟的朋友可以來我之前的博客看看Tree-Decision Tree with Sklearn source code
模型優化
決策樹最大的問題就是過擬合，因為每一次split都一定可以帶來Information Gain，這里就涉及到ML里最經典的Bias-variance trade off，樹劃分的節點越小，對樣本的估計偏差(Bias)越小但方差(Variance)越大，
傳統決策樹一般通過幾個方法來解決過擬合的問題：
- cross-validation來確定樹深度
- min_leaf, min_split_gain 用葉節點的最小樣本量等引數來停止growth
作者在文章中給出另外兩種解決過擬合的方法：
- Honest approach
- Variance Penalty
Honest approach是把訓練樣本分成train和est兩部分，用train來訓練模型用est來給出每個葉節點的估計
Variance Penaly則是直接把葉節點的方差加到cost function中，最終的cost function如下：
\[F(S_l) = N_l * \hat{\tau}^2(S_l) - N_l(\frac{Var(S_{l,1})}{p} + \frac{Var(S_{l,0})}{1-p})) \]
這個模型當前還沒找到很好的工程實作，在Uber的Casualml專案中是正在開發中的Enhancement
離散outcome - uplift model
上述cost function的定義更多適用于outcome是連續值的情況，例如時長，收入等等，當outcome是離散值時，casual tree還有一個兄弟叫做uplift-model，在Uber的開源庫里這兩個方法是完全獨立的實作，一個是UpliftTreeClassifier用于離散問題，一個是CausalTreeRegressor用于連續問題，
不過個人認為除了一些細節例如penalty，honest approach的差異，這兩種方法最大的差異只在于用不同的方式來計算Treatment和Outcome的分布距離，uplift-model支持以下三種距離計算方式，
作者在論文中對ED在對稱性以及穩定性（不會像KL一樣在0/1附近出現極端之值）的天然優勢有偏好，不過你有木有發現ED其實就是上述casual tree的cost function的計算方式嘞
\[\begin{align} KL(P||Q) & = \sum_i{p_i log\frac{p_i}{q_i}} \\ ED(P,Q) &=\sum_i{(p_i - q_i)^2}\\ \chi^2(P,Q) &= \sum_i{\frac{(p_i-q_i)^2}{q_i}} \end{align} \]
其他相關模型詳見AB實驗的高端玩法系列1 - AB實驗人群定向/個體效果差異/HTE 論文github收藏
歡迎留言～
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/67665.html
標籤：其他
上一篇：AB實驗的高端玩法系列1 - AB實驗人群定向/個體效果差異/HTE/Uplift Model 論文github收藏