01客戶介紹
華為商城（VMALL）是華為公司旗下自營及精選好物的官方電商平臺，本著“智慧生活、精選好物”的理念，為消費者提供最齊全的華為品牌產品及鴻蒙生態產品，覆寫了辦公、出行、居家、運動、娛樂等生活需求，致力于將全場景智慧生活帶給更多的消費者，
云資料庫GaussDB(for Redis)作為華為云旗下企業級Redis，致力于為客戶提供穩定可靠、超高并發，且能夠極速彈性擴容的KV存盤服務，GaussDB(for Redis)在VMALL特征工程平臺建設中，起到了關鍵作用，
02業務痛點
VMALL使用了大量的AI和大資料技術，用來支撐智能推薦、精準營銷、智能搜索、選品投放等業務的高效開展，
隨著業務的快速發展，系統對AI演算法模型的需求日益增多，當前的AI開發流程中，“模型訓練”和“模型部署”階段都已經有成熟的平臺支撐，唯獨“特征資料準備”階段缺乏通用平臺，導致了“線上推理和線下訓練的特征資料不一致”、“各演算法模型獨立開發，特征生產重復造輪子”、“特征工程投入時間多（占據演算法開發耗時的60%-70%）”3個關鍵問題，嚴重影響了研發效率，阻礙業務發展，為解決此問題，VMALL大資料團隊開始著手建設統一的特征平臺，
特征平臺的核心部件是特征存盤資料庫，只有通過統一的特征資料存盤，才能改變原有的“資料孤島”窘境，徹底解決“不一致”、“難共享”、“效率低”3大問題，
但也正是由于特征資料庫需要承擔打通線上/線下多個場景，對接批式/流式多種資料源，滿足訓練/推理多樣消費需求，對特征資料庫的選型提出了非常高的要求：需要找到一款資料存盤服務，既能提供低成本的海量資料存盤并方便擴容，又能保證資料的絕對可靠和服務的高可用；既要滿足低時延的線上推理，又要滿足高吞吐的線下訓練；既能提供簡潔的KV介面供下游輕松消費，又要兼容主流的批式/流式處理引擎（Spark/Flink等）供上游快速接入，
經過深入調研，VMALL大資料團隊最終選擇了GaussDB(for Redis)作為特征資料庫，下面就讓我們詳細看看GaussDB(for Redis)是如何滿足上述苛刻要求的，
03解決方案
1. 特征平臺使用GaussDB(for Redis)的主要流程
1）特征生產（抽取、處理、存盤）
- 離線特征（靜態特征）：
定時調度Spark作業，從各種資料倉庫、資料湖中提取資料，進行特征工程處理后，存入GaussDB(for Redis) ，
- 實時特征（動態特征）：
Flink消費Kafka，或流式存盤中的資料，持續更新到GaussDB(for Redis)中，
2）特征消費
- 線上推理：
模型已經部署到生產，開始承接業務，需要低時延，高并發的消費資料，從GaussDB(for Redis)
中讀取資料，
- 線下訓練：
GaussDB(for Redis)存有最新的特征資料，OBS中存有全量的特征資料，
1）對于使用靜態特征的較為簡單的模型，可以直接從OBS中獲取特征使用，
2）對于使用實時特征的場景（如實時推薦系統），由Flink從Kafka中實時取得用戶請求記錄，并從GaussDB(for Redis) 查詢取得特征，將記錄和特征拼接成訓練樣本，存盤到檔案中，供線下訓練使用，
2. 特征平臺對GaussDB(for Redis)的核心訴求
結合上述業務場景，總結特征平臺對GaussDB(for Redis)的核心訴求如下：
3. GaussDB(for Redis)滿足特征平臺訴求的關鍵方案
1）業務介面
GaussDB(for Redis)兼容社區Redis5.0介面，支持和Spark/FlinkConnector的對接，很好的滿足了業務的使用需求，
2）穩定性
GaussDB(for Redis)采用自研內核，解決了社區Redis的fork，oom等老大難問題，具備了企業級應用的穩定性，
3）可靠性
資料零丟失：逐條命令實時落盤，底層三副本冗余存盤，無資料丟失風險
資料強一致：基于GaussDB公共的共享存盤部件DFV，實作三副本強一致，多點訪問無臟讀風險，
4）成本
GaussDB(for Redis)實作資料的自動冷熱分離，采用記憶體+SSD的混合存盤方案，大幅降低了客戶的使用成本，按照VMALL的特征體量測算，億級用戶，每個用戶的特征數量是數K-數10K，GaussDB(for Redis)一年的費用僅3W出頭，如果選用社區Redis，費用在20W+，
5）性能
GaussDB(for Redis)采用多執行緒架構，并且所有節點可以同時支持寫入，因此可以較好滿足批量灌庫的高吞吐寫需求，讀方面，基于冷熱分離方案，熱資料常駐記憶體提供穩定低時延；冷資料讀涉及IO交換，存在一定長尾，但可滿足VMALL業務要求（目前VMALL線上GaussDB(for Redis)實體讀時延平均0.16ms，P99 0.4ms，P9999 1.5ms），
6）可擴展性
基于計算存盤分離架構，底層資料可被任一節點訪問，擴容程序不發生資料拷貝搬遷，因此速度極快；計算節點擴容分鐘級完成，存盤擴容秒級完成，RTO < 10秒，
綜上，與社區Redis相比，GaussDB(for Redis)提供了更穩定的使用體驗，更可靠的資料存盤，更低廉的使用成本和更便捷的擴展能力，是更適合像VMALL特征平臺這樣大規模電商大資料應用的企業級Redis服務，因此，VMALL特征平臺最終選擇GaussDB(for Redis)作為特征資料的存盤服務，
04上線后效果
目前VMALL已完成一期的特征資料遷移，包括“特征生產”業務中的“Spark離線特征生產”，以及“特征消費”業務中的“線下訓練Flink特征查詢”，已遷移到GaussDB(for Redis)，
當前GaussDB(for Redis)運行平穩，業務高峰時段時延穩定，能夠滿足VMALL當前業務要求，其中，讀平均時延0.2ms（p99<0.4ms），寫入平均時延0.6ms（P99<2ms），
VMALL當前已啟動二期的特征資料遷移，計劃完成包括“Flink在線特征生成”，“線上推理”等核心業務的接入，
05總結
本文介紹了華為商城（VMALL）在建設特征平臺程序中，對特征資料存盤服務的選型和應用，由此可見，華為云GaussDB(for Redis)服務在成本、可靠性、可擴展性等方面具有優勢，可作為特征資料存盤的理想方案，提供企業級的穩定可靠的Redis服務能力，
06附錄
GaussDB(for Redis)產品主頁：
https://www.huaweicloud.com/product/gaussdbforredis.html
更多技術文章，請關注GaussDB(for Redis)官方博客：
https://bbs.huaweicloud.com/community/usersnew/id_1614151726110813
本文由華為云發布，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/449088.html
標籤：其他
下一篇：去哪兒網業務大規模容器化最佳實踐