| 統計主題 | 需求指標【ADS】 | 輸出方式 | 計算來源 | 來源層級 |
|---|---|---|---|---|
| 訪客【DWS】 | pv | 可視化大屏 | page_log 直接可求 | dwd |
| UV（DAU） | 可視化大屏 | 需要用 page_log 過濾去重 | dwm | |
| UJ 跳出率 | 可視化大屏 | 需要通過 page_log 行為判斷 | dwm | |
| 進入頁面數 | 可視化大屏 | 需要識別開始訪問標識 | dwd | |
| 連續訪問時長 | 可視化大屏 | page_log 直接可求 | dwd | |
| 商品 | 點擊 | 多維分析 | page_log 直接可求 | dwd |
| 收藏 | 多維分析 | 收藏表 | dwd | |
| 加入購物車 | 多維分析 | 購物車表 | dwd | |
| 下單 | 可視化大屏 | 訂單寬表 | dwm | |
| 支付 | 多維分析 | 支付寬表 | dwm | |
| 退款 | 多維分析 | 退款表 | dwd | |
| 評論 | 多維分析 | 評論表 | dwd | |
| 地區 | PV | 多維分析 | page_log 直接可求 | dwd |
| UV | 多維分析 | 需要用 page_log 過濾去重 | dwm | |
| 下單 | 可視化大屏 | 訂單寬表 | dwm | |
| 關鍵詞 | 搜索關鍵詞 | 可視化大屏 | 頁面訪問日志 直接可求 | dwd |
| 點擊商品關鍵詞 | 可視化大屏 | 商品主題下單再次聚合 | dws | |
| 下單商品關鍵詞 | 可視化大屏 | 商品主題下單再次聚合 | dws |
DWS 層的定位是什么
- 輕度聚合，因為 DWS 層要應對很多實時查詢，如果是完全的明細那么查詢的壓力是非常大的，
- 將更多的實時資料以主題的方式組合起來便于管理，同時也能減少維度查詢的次數，
DWS 層-訪客主題寬表的計算
| 統計主題 | 需求指標【ADS】 | 輸出方式 | 計算來源 | 來源層級 |
|---|---|---|---|---|
| 訪客【DWS】 | PV | 可視化大屏 | page_log 直接可求 | dwd |
| UV（DAU） | 可視化大屏 | 需要用 page_log 過濾去重 | dwm | |
| 跳出率 | 可視化大屏 | 需要通過 page_log 行為判斷 | dwm | |
| 進入頁面數 | 可視化大屏 | 需要識別開始訪問標識 | dwd | |
| 連續訪問時長 | 可視化大屏 | page_log 直接可求 | dwd |
設計一張 DWS 層的表其實就兩件事：維度和度量(事實資料)
- 度量包括 PV、UV、跳出次數、進入頁面數(session_count)、連續訪問時長
- 維度包括在分析中比較重要的幾個欄位：渠道、地區、版本、新老用戶進行聚合
需求分析與思路
- 接收各個明細資料，變為資料流
- 把資料流合并在一起，成為一個相同格式物件的資料流
- 對合并的流進行聚合，聚合的時間視窗決定了資料的時效性
- 把聚合結果寫在資料庫中
功能實作
封裝 VisitorStatsApp,讀取 Kafka 各個流資料
訪客主題寬表計算
- 要不要把多個明細的同樣的維度統計在一起?
- 因為單位時間內 mid 的操作資料非常有限不能明顯的壓縮資料量（如果是資料量夠大，或者單位時間夠長可以）
- 所以用常用統計的四個維度進行聚合 渠道、新老用戶、app 版本、省市區域
- 度量值包括 啟動、榷訓（當日首次啟動）、訪問頁面數、新增用戶數、跳出數、平均頁面停留時長、總訪問時長
- 聚合視窗： 10 秒
- 各個資料在維度聚合前不具備關聯性，所以先進行維度聚合
- 進行關聯 這是一個 fulljoin
- 可以考慮使用 FlinkSQL 完成
合并資料流
把資料流合并在一起，成為一個相同格式物件的資料流
合并資料流的核心算子是 union，但是 union 算子，要求所有的資料流結構必須一致，所以 union 前要調整資料結構，
根據維度進行聚合
- 設定時間標記及水位線，因為涉及開窗聚合，所以要設定事件時間及水位線
- 分組 分組選取四個維度作為 key , 使用 Tuple4 組合
- 開窗
- 視窗內聚合及補充時間欄位
- 寫入 OLAP 資料庫
為何要寫入 ClickHouse 資料庫，ClickHouse 資料庫作為專門解決大量資料統計分析的資料庫，在保證了海量資料存盤的能力，同時又兼顧了回應速度，而且還支持標準 SQL，即靈活又易上手，
flink-connector-jdbc 是官方通用的 jdbcSink 包，只要引入對應的 jdbc 驅動，flink 可以用它應對各種支持 jdbc 的資料庫，比如 phoenix 也可以用它，但是這個 jdbc-sink 只支持資料流對應一張資料表，如果是一流對多表，就必須通過自定義的方式實作了，比如之前的維度資料，
雖然這種 jdbc-sink 只能一流對一表，但是由于內部使用了預編譯器，所以可以實作批量提交以優化寫入速度，
DWS 層-商品主題寬表的計算
| 商品 | 點擊 | 多維分析 | page_log 直接可求 | dwd |
| 收藏 | 多維分析 | 收藏表 | dwd | |
| 加入購物車 | 多維分析 | 購物車表 | dwd | |
| 下單 | 可視化大屏 | 訂單寬表 | dwm | |
| 支付 | 多維分析 | 支付寬表 | dwm | |
| 退款 | 多維分析 | 退款表 | dwd | |
| 評論 | 多維分析 | 評論表 | dwd |
需求分析與思路
- 從 Kafka 主題中獲得資料流
- 把 Json 字串資料流轉換為統一資料物件的資料流
- 把統一的資料結構流合并為一個流
- 設定事件時間與水位線
- 分組、開窗、聚合
- 關聯維度補充資料
- 寫入 ClickHouse
功能實作
- 封裝商品統計物體類 ProductStats
- 創建 ProductStatsApp，從 Kafka 主題中獲得資料流
- 把 JSON 字串資料流轉換為統一資料物件的資料流
- 創建電商業務常量類 GmallConstant
- 把統一的資料結構流合并為一個流
- 設定事件時間與水位線
- 分組、開窗、聚合
- 補充商品維度資訊
因為除了下單操作之外，其它操作，只獲取到了商品的 id，其它維度資訊是沒有的 - 寫入 ClickHouse product_stats
DWS 層-地區主題表(FlinkSQL)
| 地區 | PV | 多維分析 | page_log 直接可求 | dwd |
| UV | 多維分析 | 需要用 page_log 過濾去重 | dwm | |
| 下單 | 可視化大屏 | 訂單寬表 | dwm |
需求分析與思路
- 定義 Table 流環境
- 把資料源定義為動態表
- 通過 SQL 查詢出結果表
- 把結果表轉換為資料流
- 把資料流寫入目標資料庫
如果是 Flink 官方支持的資料庫，也可以直接把目標資料表定義為動態表，用 insert into 寫入，由于ClickHouse目前官方沒有支持的jdbc連接器（目前支持Mysql、PostgreSQL、Derby），也可以制作自定義 sink，實作官方不支持的連接器，但是比較繁瑣，
功能實作
DWS 層-關鍵詞主題寬表的計算
| 關鍵詞 | 搜索關鍵詞 | 可視化大屏 | 頁面訪問日志 直接可求 | dwd |
| 點擊商品關鍵詞 | 可視化大屏 | 商品主題下單再次聚合 | dws | |
| 下單商品關鍵詞 | 可視化大屏 | 商品主題下單再次聚合 | dws |
需求分析與思路
關鍵詞主題這個主要是為了大屏展示中的字符云的展示效果，用于感性的讓大屏觀看者感知目前的用戶都更關心的那些商品和關鍵詞，
關鍵詞的展示也是一種維度聚合的結果，根據聚合的大小來決定關鍵詞的大小，
關鍵詞的第一重要來源的就是用戶在搜索欄的搜索，另外就是從以商品為主題的統計中獲取關鍵詞，
功能實作
關于分詞
以我們需要根據把長文本分割成一個一個的詞，這種分詞技術，在搜索引擎中可能會用到，對于中文分詞，現在的搜索引擎基本上都是使用的第三方分詞器，咱們在計算資料中也可以，使用和搜索引擎中一致的分詞器，IK，
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
</dependency>
有了分詞器，那么另外一個要考慮的問題就是如何把分詞器的使用揉進 FlinkSQL 中，
因為 SQL 的語法和相關的函式都是 Flink 內定的，想要使用外部工具，就必須結合自定義函式，
https://www.bilibili.com/video/BV1Ju411o7f8/?p=115
大資料-資料倉庫-實時數倉架構分析
大資料-業務資料采集-FlinkCDC
大資料 - DWD&DIM 行為資料
大資料 - DWD&DIM 業務資料
大資料 DWM層 業務實作
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/541020.html
標籤：大數據
上一篇：大資料 - DWM層 業務實作