位元組跳動 A/B Tester 團隊將 A/B test 實驗方法應用在廣告營銷領域，并首先在西瓜視頻成功實踐，用科學實驗衡量決策收益，讓廣告營銷從創意玄學走向資料科學，
文 | 位元組跳動資料平臺 A/B Tester 團隊
我有一半的廣告費都被浪費了！
“我有一半的廣告費都被浪費了，但就是不知道是哪一半，”
零售大亨約翰·沃納梅克這句經典名言被稱為廣告界的哥特巴赫猜想，道出了廣告效果衡量的難點，同樣也擊中了無數廣告主的痛點，
廣告作為經濟運行中的一個重要環節，到底應該如何科學衡量廣告的效果一直既是業界的重點、熱點也是難點，
在互聯網時代，我們該如何做好廣告營銷，持續驅動生意增長呢？
火山引擎 A/B 實驗團隊給出的答案是：50%靠創意，50%靠營銷科學，
相比于經驗，營銷科學是理解創意的更好方式，用科學的方法，探索和破解營銷規律，幫助客戶實作可持續的增長，
從玄學走向科學：火山引擎 A/B 實驗
A/B 測驗在位元組跳動已是非常基礎的設施和文化，目前，位元組跳動日新增實驗 1800 以上，
首先我們看一個案例，位元組跳動有一款中視頻產品叫西瓜視頻，最早它叫做頭條視頻，為了提升產品的品牌辨識度，團隊想給它起個更好的名字，經過一些內部調研和頭腦風暴，征集到了西瓜視頻、奇妙視頻、筷子視頻、陽光視頻 4 個名字，于是團隊就針對一共 5 個 APP 名稱進行了 A/B 實驗，這個實驗中唯一改變的是應用市場里該產品的名稱和對應的 logo，實驗目的是為了驗證哪一個應用名稱能更好地提升“頭條視頻” APP 在應用商店的點擊率，最后西瓜視頻和奇妙視頻的點擊率位列前二，但差距不顯著，結合用戶調性等因素的綜合考量后，最終決定頭條視頻正式更名為西瓜視頻，
通過這個案例可以看到，A/B 測驗可以幫助業務做最終決策，結合案例的直觀感受，我們可以這樣來定義 A/B 測驗：在同一時間對目標受眾做科學抽樣、分組測驗以評估效果，
以上圖為例，假設我們有 100 萬用戶要進行 A/B 測驗：
先選定目標受眾，比如一線城市的用戶，
A/B 測驗不可能對所有用戶都進行實驗，所以要進行科學抽樣，選擇小部分流量進行實驗，
抽樣之后需要對樣本進行分組，比如 A 組保持現狀，B 組的某一個因素有所改變，
分組之后在同一時間進行實驗，就可以看到改變變數后用戶行為的變化，
再根據對應實驗目標的指標，比如點擊率的高低，來評估實驗的結果，
以上就是我們對 A/B 測驗的定義，目前，A/B 測驗已被 Google、Facebook、亞馬遜等大型互聯網公司廣泛采用；位元組跳動更是在 2012 年成立之初便開始使用 A/B 測驗，公司內部一直流傳一句話：一切皆可 A/B 測驗，
火山引擎 A/B 測驗，擺脫猜測，用科學的實驗衡量決策收益打造更好的產品，讓業務的每一步都通往增長，
廣告投放場景下的 A/B 實驗
廣告投放 A/B 實驗針對廣告投放中不同素材、預算出價、人群定向、落地頁等廣告元素進行實驗，幫助廣告投放人員了解不同元素對投放結果的影響，進而選擇更優的投放策略，提升投放效果，
早在 20 世紀六七十年代，A/B 測驗就成為了廣告教父大衛·奧格威最喜歡的一種營銷手段，奧格威用 A/B 測驗優化文案、創意、營銷方式等，獲得的結果也幫助他做出了很多正確的營銷決策，
到現在，隨著數字營銷的發展，用戶的線上行為被資料化，A/B 測驗實施起來更科學、精準，可測驗的元素也更豐富多樣，
一條廣告計劃主要有廣告素材、人群定向、預算出價、落地頁四個環節，火山引擎的廣告投放 A/B 實驗，涵蓋這四個環節中涉及的十多種廣告元素，
以素材 A/B 實驗為例，游戲行業在廣告投放中素材呈現多樣性分布，廣告主通常根據不同游戲型別的特性，提煉游戲亮點以達成營銷目的，而游戲廣告轉化的促成因子較其他行業更多元，可能是因為人物精美、坐騎炫酷、技能新穎，戰斗精彩，甚至可能是由于偏愛古風，
廣告 A/B 實驗初探：拆分對比實驗
拆分對比實驗通過對不同的廣告素材/人群定向/預算出價進行 AB 實驗提高廣告主投放 ROI，從而找出理想效果的方案，指導廣告主進行后續廣告投放，
火山引擎的廣告投放拆分對比實驗，實作了以下特色功能，從快速創建實驗組到自動產出資料報告，極大降低了廣告優化師使用 A/B 實驗進行資料驅動的科學廣告投放門檻，
01- 快速創建對照實驗
火山引擎的廣告投放 A/B 實驗可以快速添加實驗版本，同時保證實驗變數的唯一性，例如，多素材廣告實驗用戶只需修改素材即可完成實驗計劃的創建，而計劃的其他元素如用戶定向、廣告位等與對照計劃全部一致
02-自動生成資料報告
- 可以選擇關注更多維度的指標，如激活率、注冊率、ROI、LTV、留存率等，并通過關注指標自動生成資料報告；
- 可以將實驗下面所有廣告計劃的資料進行快速對比，快速了解各指標的差異；
- 資料報告
通過設定核心指標識別優勝組、可以查看關注指標的置信度
03-拆分對比實驗的注意事項
需要注意的是，廣告投放拆分對比 A/B 實驗與標準的 A/B 測驗有一定的差異，
首先是在流量分配上，標準的 A/B 測驗需要對流量進行平均分配，但廣告投放拆分對比實驗無法確保在實驗程序中的流量是平均分配的，
其次是在隨機性（無偏性）上，標準的 A/B 測驗是在線上流量中取出一小部分，完全隨機地分給原策略 A 和新策略 B，目前廣告投放拆分對比實驗的計劃之間無法完全排除干擾，不同計劃存在一定的競爭性，
但是也有一些方法減少實驗誤差：
一是增加實驗時長，由于周一和周日的人群會有很大的差距，因此建議實驗運行 7 天以上，才能有足夠的樣本，保證實驗的精準性，
二是增加人群包的范圍數量，人群包的范圍越大，實驗運行的隨機性越強，據 Facebook A/B 實驗的結果，每個實驗至少要有 300 到 500 次的點擊，廣告展示數要在 10000 次以上，
科學的 A/B 分流實驗: 增效度量實驗
增效度量實驗通過將廣告是否曝光作為變數，結合多媒體廣告投放能力，運用人群洞察+觸點價值評估+多觸點組合頻次序列化分析，度量廣告曝光對于轉化量的提升，
增效是產生的增量價值（即 uplift)，增效度量是通過科學的 A/B 分流能力，控制用戶是否"有機會"看到廣告，由此對比得出"看到"廣告這一事件帶來的增量價值的度量方法，
通俗地講,「增效度量」通過將人群提前劃分為"看到廣告"和"原本可能看到廣告",然后通過對比兩群人在廣告投放后一段時間內的轉化差異、行為差異或用戶認知差異等，以此量化廣告效果，
01-為什么需要做增效度量?
目前，國內外還沒有數字廣告效果度量的通用標準，雖然不能夠完全通過實驗最精準的量化廣告效果，但「增效度量」是目前幾乎最接近廣告真實效果的度量解決方案之一，增效度量客觀量化線上廣告投放對廣告主產生的"價值",包括但不限于"廣告"對最終的轉化、用戶行為、用戶認知等產生的變化，
幫助廣告主明確不同渠道/媒體的廣告價值（幫助廣告主正確的歸因),明確廣告投資回報率
幫助廣告主證明歸因方式是否準確，從而合理歸因廣告轉化
幫助廣告主持續優化廣告營銷的策略，合理調整不同渠道/媒體的廣告預算分配
02-增效度量實驗核心流程
火山引擎 A/B 實驗平臺提供一站式增效度量實驗，結合廣告增效思路，構建科學實驗分流、實驗配置、科學的度量報告，有效促進品牌廣告科學評估價值，
廣告主可以在火山引擎 A/B 實驗平臺上傳 DMP 人群，配置度量實驗，進行跨渠道的投放生效，A/B 實驗平臺提供投放和監測服務，也可配置對接客戶的投放和監測服務，在投放后一定周期內完成監測資料歸因和轉化資料回傳，平臺統一生成增效度量實驗報告，
03-配置度量實驗
在火山引擎 A/B 實驗平臺配置度量實驗，選擇人群與投放平臺計劃，開啟實驗
04-跨渠道的投放生效
在火山引擎 A/B 實驗平臺上配置多平臺的投放賬號，授權投放計劃和 DMP 介面
05-增效度量實驗報告
火山引擎 A/B 實驗計算實驗不同人群包的轉化人數，計算在不同平臺進行廣告投放人群包的增量轉化，產出度量實驗報告，
資料驅動下的品牌廣告：品牌增效度量實驗
品牌增效度量實驗通過控制廣告是否曝光或曝光不同廣告，結合多通道問卷調研能力，對比不同人群投放效果，衡量廣告投放效果，
01-為什么需要做品牌增效度量?
品牌廣告效果的量化評估多年以來一直困擾著業界，難點在于品牌廣告是能提升銷售，但目前卻很難做到精確有效地評估出某個品牌廣告對銷售增長的促進作用，而只能停留在觸達層面的評估上，
品牌廣告對消費者的影響是潤物細無聲的，影響消費者的程序可能有數月甚至一年之久；并且品牌廣告對消費者心智影響的效果通常是無形和難以衡量的；另外銷售的提升可能是品牌廣告和效果廣告作用的結果，品牌廣告到底有多少貢獻難以衡量；眾多的難點要素疊加起來導致了業界還沒有找到品牌推廣和銷售之間的準確轉換關系，
品牌增效度量將品牌力這一主觀判斷以資料形式產出，通過廣告曝光行為在兩組相似用戶之間的用戶認知差異對比，能更好地幫助廣告主了解廣告效果，從而為媒體效率提升提供方向，此外，增效度量能幫廣告主更好衡量廣告的真實價值，采用廣告的真實價值作為衡量標準，也能得出更好的用戶洞察，
02-品牌增效度量實驗核心流程：
創建 BLS 型別實驗
匯入人群包，系結廣告投放活動
開始投放廣告，同步回收廣告資料
根據廣告人群回收情況，啟動問卷投放
回收問卷資料，總結本次實驗結論
03-科學的 A/B 人群分流
人群分流以往的計算方法是在選擇好曝光組的基礎上透過基礎畫像標簽去找到相似的人群作為控制組，這種選法對于廣告主來說會有兩個挑戰點：一是找到的控制組并無法保證與曝光組的一致性，二是為確保曝光組、控制組的一致性，廣告主在這個流程上需要花費較大的人力及時間去做圈選校驗，
而火山引擎的 AB 實驗平臺，在廣告投放前確定人群隨機分流方式，通過演算法匹配將人群隨機分流為曝光組、控制組，并對控制組進行廣告屏蔽，相較于以往方法，更科學、省力且結論資料更真實，
04-多渠道問卷投放
和普通增效度量實驗不同的是，品牌廣告效果無法通過監測代碼直接追蹤轉化效果（轉化可能在線下)，所以在度量品牌效果時，需要引入問卷調研能力，來統計品牌廣告的 uplift 效果，火山引擎 AB 實驗平臺提供了以下能力：
在品牌增效度量實驗中，火山引擎 A/B 實驗平臺完成人群分流及廣告投放作業
在問卷調研中會通過接入多種問卷工具產品來實作問卷下發 &問卷回收
通過標準化的問卷模版，將回收問卷資料進行匯總計算，產出資料洞察報告
問卷樣例：
05-增效度量實驗報告
為什么選擇火山引擎廣告投放 A/B 實驗?
如今中國企業正加速向數字化、智能化演進，工具市場有很大的需求空間，火山引擎將支撐全球化互聯網公司多元業務發展的增長理念、技術優勢內化到產品中，從開發、應用到運營，滿足不同型別企業不同生命階段的商業增長需求，更貼心、更智慧、更靈活，
過去幾年，很多企業對位元組跳動的技術和工具感興趣，2017 年就有手機廠商希望使用今日頭條的推薦演算法，雙方合作后取得了很好的效果，位元組跳動在數字化增長方面有很多實踐，
火山引擎 A/B 測驗，脫胎于位元組內部工具，不僅集成了位元組內部豐富的業務場景中的實驗經驗，又立足 ToB 市場，保持技術中立，專注為廣告主創造價值，
關聯產品
火山引擎A/B測驗
A/B 測驗，擺脫猜測，用科學的實驗衡量決策收益，打造更好的產品，讓業務的每一步都通往增長，
歡迎關注位元組跳動資料平臺同名公眾號獲取更多技術干貨
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/458527.html
標籤：其他
下一篇：常見預訓練語言模型簡述