?近日，快手大資料團隊聯合“快手中學”，舉辦“快手資料管治技術交流會”，各行業資料相關開發者報名參與，在海量的 UGC 資料、業務資料、用戶資料背后，支撐快手資料業務的快手大資料平臺，秉承“以領先的大資料技術，激活資料價值，賦能業務，打造快手核心競爭力”的使命，
日處理資料集群規模超過 3W，資料量超過 3EB，日入資料量超 5PB（5120TB），例行任務數超 30W，今年9月，快手曾圍繞“資料架構”這一主題舉辦了“快手大資料平臺架構技術交流會”，本次交流則聚焦“資料管治”主題，明年將繼續開展更多資料領域相關主題活動，
首先由快手資料工廠團隊負責人董西成帶來開場致辭，他介紹，快手在資料管治領域涉及的方面非常廣泛，包括資料規范、資源控制、集成交換、資料建模等，為了推進資料管治，需要在技術產品、規范流程、組織等方面進行考慮，
本次交流從資料管治的標準規范、資源管控、資料質量和資料服務四個方面展開分享，由來自快手的資料研發專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來五個主題演講，
孫偉介紹了快手在資料中臺化程序中由于模型不規范帶來的資料孤島、指標不一致、模型質量差等一系列問題，并針對這些問題結合元資料驅動的思路制定了治理方案，從元資料驅動問題的發現再到治理優化，最終實作資料模型的規范化，
從快手 EB 級資料量下對于存盤成本管理所遇到的涉及面廣、成本意識弱、缺乏有效方法等問題出發，程偉站在成本分析的角度，制定相應的存盤成本控制策略，并以專項資料治理和自驅式資料管理相結合的方式去推進落地，從而達到存盤成本管理的目的，
楊釗分享了快手的資料保障理念，并通過體系化的方式，保障資料完整、準確、一致、及時，基于上述保障體系，詳細介紹了快手在直播場景通過需求流程管理、測驗、質檢、應急方案等保障策略，以及這些保障策略在直播事前、事中、事后具體的執行手段，如雙鏈路設計、壓力測驗、應急方案制定等，保障了在資料量巨大，指標計算復雜等困難情況下，依然能夠保障整個資料產品的產出及時，資料準確，
當談到元資料平臺和相關應用在快手的發展程序、現狀及當前快手元資料平臺的架構時，薛言分析了面對數十種的資產、過億的物體規模的異構元資料，是如何進行抽象及管理的，并通過找數、全鏈路血緣、資料治理平臺等幾個主要的應用場景，展示了元資料在快手大資料平臺中發揮的作用和價值，
劉一凡介紹了快手在資料中臺化建設程序中，在指標領域建設所面臨的缺乏流程、規范引起的口徑不一致、反復梳理重構、缺乏統一服務引起的資料出口不一致等問題，并針對上述問題分享了流程、規范、組織以及系統方面的整體解決思路，重點闡述了 OneMetric 以及 OneService 兩個核心系統模塊的系統設計及其關鍵技術，
快手以技術為核心競爭力，十分重視技術創新和應用，同時也希望通過更多更廣泛的技術交流，和業內開發者分享經驗，碰撞出更多智慧火花，推動技術不斷前進，
（大會PPT下載地址：https://github.com/CN-CJ/KwaiTechnologyCommunication）
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/244224.html
標籤：AI