目錄

DMP （Data Management Platform）

一、專案介紹

二、技術方案

DMP （Data Management Platform）

資料管理平臺，負責資料管理：收集用戶資料；為用戶資料打上標簽；為DSP 提供資料服務

• 業務介紹
• 技術實作

對于業務介紹，比較困難的是理解廣告交易程序中各個參與者是干什么的

對于技術實作，大致就是如下兩個步驟：

1. 報表
2. 標簽化

報表顯而易見，就是查看資料的組成，查看資料的圖形直觀特征

標簽化是整個專案的目的，最終其實就是要根據標簽篩選用戶，但是對于標簽化還是有很多東西要做的，如下：

• 商圈庫
• 打標簽
• 統一用戶識別
• 標簽合并 & 衰減
• 歷史合并

一、專案介紹

1. 背景介紹
2. DMP 的作用和實作方式
3. 技術方案

廣告業務背景

互聯網廣告發展至今，產生了很多非常復雜的概念，其中環環交錯，不容易理清，主要目的就是盡可能的理清楚整體上的流程，各個環節的作用，

Step 1: 廣告主，廣告商，媒體

• 廣告主：簡單來說就是要發廣告的機構和個人，比如：微信公眾號也有的廣告主
• 廣告商：廣告商是中介，對接廣告主和媒體，廣告主告訴廣告商我要發廣告，廣告商找到媒體進行談判
• 媒體： 比如說微博，騰訊，美團這樣的應用和網站，就是媒體，它們具有廣告展示的位置，用戶在使用這些服務的同時會看到各樣的廣告
• 受眾： 普通的用戶，在享受免費的服務的同時，被努的接受廣告；但是受眾是有不同型別的，可以由標簽來表示，比如說白領，女生，28-30歲等

Step 2: 小媒體和廣告網路

剛才的結構中有一個非常明顯的問題

• 小媒體有很多

不只有微博騰訊這些媒體，還有很多其它的垂直小媒體，比如說一些軟體網站，一些小型的App，甚至前陣子比較流行的游戲消滅病毒等，都是小型的媒體

• 廣告主傾向于讓更多人看到廣告

廣告主就傾向于讓更多人看到廣告，而且也為了避免麻煩，所以會找一些大型的媒體來談合作

但是往往一些小媒體因為更加垂直，其用戶可能更加精準，購買意愿也非常好

• 小媒體的議價能力非常有限

雖然小媒體有小媒體的好處，但是小媒體太過零散，如果只是一個小媒體的話，很難去洽談出一個比較好的合作，所以小媒體也是要賺錢的，這個領域其實是一個很大的盤子，一定會有人為小媒體提供服務，這種產品，我們稱之為 AdNetwork，廣告網路

AdNetwork【廣告網路】 提供如下的服務

• 為廣告主提供統一的界面
• 聯絡多家媒體，行成為統一的定價從而銷售

Step 3: AdExchange

雖然有 AdNetword 的引入，但是很快又會有新的問題

• AdNetwork 不止一家

就如同有很多小媒體，廣告主不知道如何選擇一樣，AdNetwork 是一種商業模式，也會有很多玩家，廣告主依然面臨這種選擇困難

• 小媒體們會選擇不同的AdNetwork

每個AdNetwork 之間，定價策略可能不同，旗下的小媒體也可能不同，其實最終廣告主是要選擇一個靠譜的網站來進行廣告展示的，那么這里就存在一些資訊不對稱，如何選擇靠譜的 AdNetwork 從而選擇靠譜的媒體呢

• AdNetwork 之間可能存在拆借現象

某一個 AdNetwork 可能會有一個比較好的資源，但是一直沒賣出去，而另外一個AdNetwork 可能恰好需要用到這個資源，所以 AdNetwork 之間可能會有一些拆借顯現，這就讓這個時長愈加混亂

• 媒體可能對 AdNetwork 的定價策略頗有微詞

AdNetWork 背后有很多媒體，但是整個定價策略是由 AdNetwork 來制定的，雖然 AdNetwork 往往是非常精密的計算模型，但是媒體依然可能會感覺自己沒有賺到錢

所以滋生了別外一種業務，叫做AdExchange，廣告交易平臺，從而試圖去從上層再統一一下

所以，AdExchange 雖然看起來和 AdNetwork 非常類似，但是本質上是不同的，其有以下特點

• AdExchange 不僅會聯系 AdNetwork，也會聯系一下小媒體
• 甚至有時候 AdNetwork 也會找 AdExchange 發布廣告需求
• AdExchange 會提供實時的交易定價，彌補了 AdNetwork 獨立定價的弊端

Step 4: RTB 實時競價

并不是針對 AdExchange 的缺陷引入新的話題，而是針對 AdExchange 中的一個定價特點進行詳細的說明

AdExchange 和 AdNetwork 最大的不同可能要數 AdExchange 的定價方式了，AdExchange 的定價方式是一種事實的定價方式，其實非常類似于股票的撮合交易

整個程序的步驟大致如下：

1、媒體發起廣告請求給 RTB 系統，請求廣告進行展示

2、廣告主根據自己需求決定是否競價，以及自己的出價

3、會有多個廣告主同時出價，價高者得

這樣，RTB 就能盡可能的讓廣告的展示價格更透明更公平，AdExchange 得到自己回應的傭金，媒體得到最大化的廣告費，看起來皆大歡喜，但是真的是這樣嗎？

Step 5: 廣告主如何競價？

一切看起來都很好，如果你站在媒體的角度的話，但是如果你站在廣告主的角度上來看，廣告主可能會有兩種抱怨：

• 廣告主并不是專業從業者

廣告主可能會覺得，你跟我鬧呢，我知道不知道怎么出價你心里清楚？

確實，作為金主，不能太過為難他們，每次交易都上廣告主出價，無異于逼迫廣告主轉投他家

• 廣告主的訴求是投放廣告給恰好有需求的人，而不是看起來好像很酷的媒體

我們討論到現在，所以的假設都是基于廣告主知道自己該找什么樣的媒體投放什么樣的廣告，這種假設明顯是不成立的，如果考慮廣告主的訴求，其非常簡單，在同等價格內，廣告效果要好，所以廣告主更關心的事情是你是否讓合適的人看到了這些廣告，

所以，DSP應運而生，DSP全稱叫做需求方平臺，主要負責和 AdExchange 互動，輔助廣告主進行實時競價，

• DSP 幫助廣告主進行 RTB 中的出價
• DSP 不僅只是出價，DSP 幫助廣告主全面的進行廣告服務，例如廣告主只需要告訴 DSP 自己對什么型別的受眾感興趣，DSP會幫助廣告主進行受眾篩選，

Step 6: DMP

DSP 最重要的特性是，能夠幫助廣告主刷選客戶，換句話說，DSP 出現之前廣告主針對媒體上的廣告位進行廣告投放，DSP 出現之后，廣告主針對自己想要的目標受眾投放廣告，這幾乎是一個質效率提升，

廣告主現在可以針對一些受眾的標簽來進行廣告投放了，比如說，一個廣告主是賣化妝品的，他要投放廣告給有如下三個標簽的用戶們：20歲上下，女性，時尚人士，現在就可以針對這三個標簽來告訴DSP 如何帥選用戶了

但是，DSP 如何進行用戶識別呢？DSP如何誰是 20歲上下，女性，時尚人士？DSP 可以自己做，也可以依賴于第三方，這個標簽化的資料管理專案，就叫做DMP，全稱叫做 Data Management Platform ，即資料管理平臺，

DMP 所負責的內容非常重要的有兩點

• 收集用戶資料

常見的收集方式主要有兩種：

1. 通過自身的服務和程式進行收集，例如微博和騰訊有巨大的用戶量，他們自己就可以針對自己的用戶進行分析
2. 通過合作而來的一些資料，這部分在合規范圍內，一般大型的網站或者APP會通過一些不會泄漏用戶隱私的ID 來標識用戶，給第三方 DMP 合作使用
3. 通過一些不正當的手段獲得，例如說在某網站上傳偽裝成圖片的腳本，從而獲取本網站的用戶 Cookie，這部分涉及一些黑產，不再詳細說明，315 晚會也曾經報道過

• 為用戶打上標簽

DSP 主要通過標簽帥選用戶，所以 DMP 要通過一些大資料的工具來將用戶資料打上標簽，這部分其實挺難，有可能要涉及一些機器學習的演算法，或者圖計算，

1. AdExchange 發起競價
2. DSP 回應競價
3. DSP -> DMP 詢問這個競價的媒體是否是我需要的
4. DMP 回傳媒體和展示的資訊，告訴 DSP 是否應該出價
5. DSP 根據DMP 的指引，選擇出價或者不出

二、技術方案

從目的上看，DMP 系統可能會有如下的事情要做

• 通過可視化和筆記工具進行資料分析和測驗，一般會使用Zeppelin 等工具進行測驗和資料探索

路線一：

1. 收集資料
2. ETL
3. 落地 Kudu
4. Spark 讀取 Kudu ODS 進行標簽化
5. 落地 Kudu
6. 放入Es 對外提供 API

路線二：

1. 收集資料
2. ETL
3. 落地 Kudu
4. 生成報表
5. 分析師就可以使用 Impala 等查詢資料進行決策服務

文章最后，給大家推薦一些受歡迎的技術博客鏈接：

1. JAVA相關的深度技術博客鏈接
2. Flink 相關技術博客鏈接
3. Spark 核心技術鏈接
4. 設計模式 —— 深度技術博客鏈接
5. 機器學習 —— 深度技術博客鏈接
6. Hadoop相關技術博客鏈接
7. 超全干貨--Flink思維導圖，花了3周左右撰寫、校對
8. 深入JAVA 的JVM核心原理解決線上各種故障【附案例】
9. 請談談你對volatile的理解？--最近小李子與面試官的一場“硬核較量”
10. 聊聊RPC通信，經常被問到的一道面試題，原始碼+筆記，包懂
11. 深入聊聊Java 垃圾回識訓制【附原理圖及調優方法】

歡迎掃描下方的二維碼或 搜索 公眾號“大資料高級架構師”，我們會有更多、且及時的資料推送給您，歡迎多多交流！