作者：江顥
1.什么是長期的 AB 實驗
大部分情況下，我們做的 AB 實驗都是短期的，一到兩周或者一個月之內的，通過分析這段時期內測得的實驗效應得出實驗結論，并最終進行推廣，
長期實驗即運行時間達數月甚至數年的實驗，實驗的長期效應指的是需要數月數年的 AB 實驗才能積累的實驗效應，
那什么場景下還需要做長期的 AB 實驗，為什么不直接將短期的實驗效應直接推廣到長期效應呢？
因為在某些情況下，實驗的長期效應和短期效應是不同的 ，
例如，在搜索引擎上顯示不夠匹配的搜索結果會導致用戶再次搜索，搜索份額可能在短期內會增加，但隨著用戶體驗下降并切換到更好的搜索引擎，搜索份額從長期來看會減少；同樣，展示更多的廣告可以在短期內增加廣告點擊和營收，但長期來看，卻會因為廣告點擊甚至搜索的減少而造成營銷的減少，
執著于短期的 AB 實驗，會使我們傾向于高估技術的短期效應，而低估其長期效應，
2.為什么要做長期的 AB 實驗
2.1 歸因
資料驅動文化的團隊會使用實驗結果來跟蹤評估團隊的目標，在這種情況下需要對實驗的長期效應進行正確的測量和歸因，分析如果不引入新功能，從長遠來看，產品獲得的效果是怎么樣的；引入新功能獲得成功的原因，是由于外部政策影響、競品變化還是用戶的體驗得到提升，這種歸因是非常具有挑戰性的
2.2 積累經驗
長期和短期的 AB 實驗在某種業務場景下是否存在差異，如果存在是什么原因造成的？產品引入新功能對用戶的體驗用什么影響，如果用戶被新功能吸引，但只體驗一次，則說明新功能可能不太滿足用戶需求；如果用戶需要花費很長時間才能體驗到新功能，則說明用戶引導可能不夠，了解這種差異可以為產品后續的升級迭代積累經驗
2.3 推廣結論
通過測量某種場景下的某些實驗的長期效應，我們可以嘗試總結并推廣實驗結論，之后在這類場景下做 AB 實驗時，我們能否通過這些長期效應，創建可預測長期效應的短期指標，將這些指標作為我們實驗的護欄指標；或者在決策中考慮那些推廣的結論
3.為什么長期的 AB 實驗容易踩坑
我們先來介紹一種最常見最流行的做長期實驗的方式：即延長短期實驗的運行時間，長期運行它，
下圖展示了隨著時間推移，測得的實驗效應變化，第一個實驗周期測得的百分比增量測量值 P1 被認為是短期效應；而最后一個測量值 PT 則被認為是長期效應，
我們以此為例分析下這種簡單的方式容易踩那些坑，導致長期實驗最后一周的測量值 PT 可能無法代表實驗真正的長期效應：
3.1 實驗設計不合理
3.1.1 隨機化單元設計不合理
如果隨機化單元設定成用戶級別，但根據 cookie 進行試驗的隨機化，隨著時間推移，實驗組的用戶可能因為使用新 cookie 而被隨機分配到對照組，時而存在于實驗組，時而存在于對照組，從而帶來偏差，
3.1.2 幸存者偏差
并非實驗開始時的所有用戶都可以存在到實驗結束，
如果實驗組和對照組之間的用戶生存率不同，則 PT 會有幸存者偏差，
如果不喜歡新功能的試驗組用戶隨著時間流逝而啟用產品，那 PT 只包含了哪些仍然存在的用戶以及新加入實驗的用戶，從而帶來偏差，
3.1.3 實驗效應稀釋
用戶是可以使用多個設備體驗功能，而如果實驗僅測量其中的一個子集， 那實驗時間越長，用戶在實驗期間使用多個設備的可能性就越大，對于最后一周內訪問的用戶，實際上實驗只包括了在整個時間段 T 中一部分的用戶體驗， 以 PT 衡量的結果不是用戶在時間 T 曝光于實驗的長期效應，而是稀釋后的結果，
3.2 實驗組和對照組之間存在潛在的干擾
3.2.1 直接關聯
用戶行為往往會受到網路中其他人的影響，尤其是熟悉的人的行為的影響，
如果被測驗功能對用戶有顯著的影響，即使其本身可能需要一段時間才能被用戶發現并使用，但經過滲透用戶的社交圈，通過網路傳播可能很快就被發現并使用了，
例如如果實驗組會促使用戶給其他用戶發送更多的私信，那么對照組用戶也會回復這些私信，并可能更主動發送私信，如果實驗關注指標是私信發送總數，那對照組關注指標也會增長，測出來的試驗組資料和對照組資料差別會偏小，而不能完整的捕捉到新演算法的收益
3.2.2 間接關聯
實驗組和對照組可能會因為共享某種資源而產生間接關聯，造成干擾，
例如 uber 測驗一個溢價演算法，效果很好以致于實驗組的用戶更愿意打車，那么在路上可能接客的司機數量減少了，對應的對照組的價格會升高，導致照組用戶愿意打車的意愿降低了，這種情況，會高估實驗組和對照組的差別，
又如關于搜索引擎基于的關聯模型的實驗，如果我們使用從所有用戶那里收集到的資料訓練實驗組和對照組，實驗組的關聯模型可以更好的預測用戶喜歡點擊什么，那么實驗運行時間越長，實驗組產生的'好的'點擊資料也會使對照組收益，實驗組和對照組的差別會降低，
3.3 實驗用戶的行為變化
隨著用戶對被測功能的學習并適應變化，用戶的行為也會發生變化，
如果被測功能是新功能，也許需要一段時間才能被用戶注意并使用，但是一旦發現它是有用的，長期來看，用戶就會頻發使用，
如果被測功能是對已有功能的修改，用戶由于已經適應了舊功能，用戶可能會需要時間適應新功能；也可能用戶會在短期內對新功能產生興趣，投入更多的時間和探索，但長期來看，用戶行為最侄訓達到一個平衡點，
對于這些情況，實驗的短期效應和長期效應存在不同
3.4 外部生態系統的變化
3.4.1 季節性變化
不同季節，商家會采取不同的營銷活動，導致用戶的購買意圖不同，例如雙十一期間用戶的購買意圖會比非雙十一期間表現不同
3.4.2 重大事件
例如政策發生變化、大型社會事件，都可能會影響用戶的被測驗功能的表現
3.4.3 競品影響
如果競爭對手啟動了相同的功能，則可能影響用戶對被測驗功能的體驗，該功能的價值可能會下降，
3.4.4 啟動其他新功能
長期實驗運行期間可能會啟動許多其他實驗，并且可能與被測驗的功能進行互動，隨著時間推移，可能會對實驗產生影響，
4.如何做長期的 AB 實驗
實驗長期效應的偏差可能是由于不同原因引起的，以下介紹幾種改善長期實驗的測量方式來預防或者修正這種偏差，
注意沒有一種方式可以完全解決所有的偏差，都可能存在某種局限性，建議使用前評估這些方法的局限性，
4.1 群組分析
在實驗開始之前構建穩定的用戶群，并僅分析對該用戶群的短期效應和長期效應，這種方法可以幫助解決幸存者偏差和實驗效應稀釋的問題，
但這種方式有幾點需要注意：
1.群組的穩定性對這種方法的有效性非常重要，如果隨機化單元是基于 cookie 的，由于 cookie 流失率很高，群組的穩定性則比較差，導致這種方法不能很好的糾正偏差
2.群組必須具備代表性，如果群組不能代表總體人群，那分析結果可能無法推廣到整個人群，
4.2 后期分析
該方式的關鍵是在實驗運行一段時間后，使對照組用戶和實驗組用戶在測量期間內的產品體驗完全相同，
對于這種方式有兩種選擇：第一種在運行一段時間（時間 T）后關閉實驗，然后在時間 T 和時間 T + 1 期間測量實驗組用戶和對照組用戶之間的差異；或者可以將實驗組發布給所有用戶來應用此方式，
這種方式本質上是在最后一段時間內做了一個 A/A 實驗，根據后期的 A/A 實驗測量長期效應，
但這種方式有個前提隱患，即系統可能‘記住’了實驗期間的資訊，我們稱之為系統的習得效應，常見的例子是通過機器學習模型向實驗組用戶展示更多的廣告，實驗組用戶使用足夠長的時間后系統可能會更了解用戶，即使在后期進行了 A/A 實驗，也仍然會向他們展示更多的廣告，
如果實驗中，系統的習得效應為零，那 A/A 實驗之后實驗組和對照組用戶都曝光于完全相同的一組功能，給定足夠多的實驗，測量用戶的習得效應，然后從新的短期實驗中外推出長期效應，
這種方式能有效的將效應與隨時間變化的外在因素和其他新功能帶來的潛在互動影響分割開來，因為用戶的習得效應是單獨測量的，能為實驗短期效應與長期效應的不同帶來更多的分析依據，
但這種方式存在幸存者偏差和實驗效應稀釋的問題，可與群組分析方式結合使用，
4.3 實驗留白
長期運行對照組是存在一定的成本的，代價可能是昂貴的，因為他們一直沒有獲得實驗組的新功能，因此如果迫于時間、迭代周期的壓力，需要將被測驗的新功能推全給所有用戶，一種方式就是實驗留白，實驗結果出來之后，將實驗組流量發布給 90%、95% 的用戶，剩下的用戶留在原來的對照組數周或在數月，
留出實驗是長期運行實驗的一種典型方式，但需要注意的是由于對照組流量比例此時比較小，統計功效會變低，要確保仍有足夠的流量不會影響實驗的目標
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/539924.html
標籤：其他
上一篇：淺析JWT Attack