目錄
0. 相關文章鏈接
1. 資料架構
注：此博文為根據 趙宏田 老師的 用戶畫像·方法論與工程化解決方案 一書讀后筆記而來，僅供學習使用
0. 相關文章鏈接
用戶畫像文章匯總
1. 資料架構
在整個工程化方案中，系統依賴的基礎設施包括Spark、Hive、 HBase、Airflow、MySQL、Redis、Elasticsearch，除去基礎設施外， 系統主體還包括Spark Streaming、ETL、產品端3個重要組成部分，如下圖所示：
在上圖下方虛線框中為常見的資料倉庫ETL加工流程，也就是將每 日的業務資料、日志資料、埋點資料等經過ETL程序，加工到資料倉庫 對應的ODS層、DW層、DM層中，
中間的虛線框即為用戶畫像建模的主要環節，用戶畫像不是產生 資料的源頭，而是對基于資料倉庫ODS層、DW層、DM層中與用戶相關數 據的二次建模加工，在ETL程序中將用戶標簽計算結果寫入Hive，由于不同資料庫有不同的應用場景，后續需要進一步將資料同步到MySQL、 HBase、Elasticsearch等資料庫中，
- Hive：存盤用戶標簽計算結果、用戶人群計算結果、用戶特征庫計算結果，
- MySQL：存盤標簽元資料，監控相關資料，匯出到業務系統的資料，
- HBase：存盤線上介面實時呼叫類資料，
- Elasticserch：支持海量資料的實時查詢分析，用于存盤用戶人群計算、用戶群透視分析所需的用戶標簽資料（由于用戶人群計算、用戶群透視分析的條件轉化成的SQL陳述句多條件嵌套較為復雜，使用Impala執行也需花費大量時間），
用戶標簽資料在Hive中加工完成后，部分標簽通過Sqoop同步到MySQL資料庫，提供用于BI報表展示的資料、多維透視分析資料、圈人服務資料；另一部分標簽同步到HBase資料庫用于產品的線上個性化推薦，
注：再次宣告，此博文為根據 趙宏田 老師的 用戶畫像·方法論與工程化解決方案 一書讀后筆記而來，僅供學習使用
注：其他相關文章鏈接由此進 -> 用戶畫像文章匯總
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/420013.html
標籤：其他
上一篇：基于Flink實時數倉——DWS層-關鍵詞主題表FlinkSQL(9）
下一篇：Scala編程語言入門（1）