主頁 > 資料庫 > 滴滴資料倉庫指標體系建設實踐

滴滴資料倉庫指標體系建設實踐

2020-09-10 06:12:52 資料庫

桔妹導讀:指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析,

1. 什么是指標體系

1.1 指標體系定義

指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通過單點看全域,通過全域解決單點的問題,它主要由指標和體系兩部分組成,

指標是指將業務單元細分后量化的度量值,它使得業務目標可描述、可度量、可拆解,它是業務和資料的結合,是統計的基礎,也是量化效果的重要依據,

指標主要分為結果型和程序型:

  • 結果型指標 用于衡量用戶發生某個動作后所產生的結果,通常是延后知道的,很難進行干預,結果型指標更多的是監控資料例外,或者是監控某個場景下用戶需求是否被滿足

  • 程序型指標 用戶在做某個動作時候所產生的指標,可以通過某些運營策略來影響這個程序指標,從而影響最終的結果,程序型指標更加關注用戶的需求為什么被滿足或沒被滿足

體系是由不同的維度組成,而維度是指用戶觀察、思考與表述某事物的“思維角度”,維度是指標體系的核心,沒有維度,單純說指標是沒有任何意義的,

維度主要分為定性維度和定量維度,定性維度,主要是偏文字描述類如城市、性別、職業等;定量維度,主要是數值類描述如收入、年齡等,對定量維度需要做數值分組處理,

1.2 指標體系生命周期

生命周期主要包含定義、生產、消費、下線四個階段,針對整個生命周期要持續做指標運維、質量保障,同時為了提高指標資料復用度,降低用戶使用成本需要做對應的資料運營作業,

1.3 綜合使用場景

指標體系主要是結合用戶的業務場景來進行使用,多個不同的指標和維度可以組合起來進行業務的綜合分析,用戶可通過指標的變化看到整體業務的變化,并能夠快速發現問題、定位問題,常用的場景一種是決策分析的場景,通過資料看清業務現狀進行戰略決策支持,另一種是運營分析場景,無論是做用戶運營、產品運營還是活動運營都需要各類指標資料的支撐去看清問題、分析問題和指導解決問題,

2. 為什么搭建指標體系

  • 衡量業務發展質量
    指標體系可以反映業務客觀事實,看清業務發展現狀,通過指標對業務質量進行衡量,把控業務發展情況,針對發現的業務問題聚焦解決,促進業務有序增長

  • 建立指標因果關系
    主要明確結果型指標和程序型指標關系,通過結果指標回溯程序指標,找到解決問題的核心原因

  • 指導用戶分析作業
    目的建立產品評估體系、活動效果評估體系、智能運營分析體系

  • 指導基礎資料建設 明確基礎資料建設方向,集中資源,避免程序和結果分析指標資料的遺漏或缺失

  • 指導內容產品建設
    結合用戶的業務場景來進行使用,多個不同的指標和維度可以組合起來進行業務的綜合分析,用戶可通過指標的變化看到整體業務的變化,并能夠快速發現問題、定位問題

  • 統一指標消費口徑
    企業內統一關鍵指標業務口徑及計算口徑,統一企業業務目標,實作自上而下目標驅動

3. 如何搭建指標體系

指標體系建設的常用方法是通過場景化進行指標體系的搭建,以用戶的視角場景化思考,自上而下業務驅動指標體系建設,所以要在特定場景下做好指標體系建設,需要先選好指標,然后用科學的方法搭建指標體系,

3.1 科學方法選指標

選指標常用方法是指標分級方法OSM模型

指標分級主要是指標內容縱向的思考,根據企業戰略目標、組織及業務程序進行自上而下的指標分級,對指標進行層層剖析,主要分為三級T1、T2、T3,

  • T1指標:公司戰略層面指標

    用于衡量公司整體目標達成情況的指標,主要是決策類指標,T1指標使用通常服務于公司戰略決策層

  • T2指標:業務策略層面指標

    為達成T1指標的目標,公司會對目標拆解到業務線或事業群,并有針對性做出一系列運營策略,T2指標通常反映的是策略結果屬于支持性指標同時也是業務線或事業群的核心指標,T2指標是T1指標的縱向的路徑拆解,便于T1指標的問題定位,T2指標使用通常服務業務線或事業群

  • T3指標:業務執行層面指標

    T3指標是對T2指標的拆解,用于定位T2指標的問題,T3指標通常也是業務程序中最多的指標,根據各職能部門目標的不同,其關注的指標也各有差異,T3指標的使用通常可以指導一線運營或分析人員開展作業,內容偏程序性指標,可以快速引導一線人員做出相應的動作,

例如:成交率的指標分級

OSM模型(Obejective,Strategy,Measurement)是指標體系建設程序中輔助確定核心的重要方法,包含業務目標、業務策略、業務度量,是指標內容橫向的思考,

  • O
    用戶使用產品的目標是什么?產品滿足了用戶的什么需求?主要從用戶視角和業務視角確定目標,原則是切實可行、易理解、可干預、正向有益
  • S
    為了達成上述目標我采取的策略是什么?
  • M
    這些策略隨之帶來的資料指標變化有哪些?

以滴滴網約車為例,按照OSM模型,它的指標是什么樣的?

  • O:用戶來使用滴滴這個產品,需求和目標是什么?
    用戶需求及目標是便捷、快速打到車,安全到達目的地

那如何讓用戶感受到自己的需求被滿足了呢?

  • S:滴滴做的策略是:
    便捷方面:提供了獨立APP版本、小程式版本,還可以多渠道打到車,例如在高德、微信、支付寶都有打車入口;起始、目的地地圖智能精準定位;最優路線選擇等
    快速方面:針對不同人群不同訴求提供了多品類產品選擇,例如快車、優享、拼車、出租車等業務,根據早晚高峰提高熱點區域運力,減少用戶排隊時間
    安全方面:司機準入機制,司機合規機制,司機畫像

  • M:我們需要針對這些策略去做指標,在這里面我們的指標分別是結果指標和程序指標:
    結果指標:渠道轉化完成率、乘客取消率、供需比、司機服務分
    程序指標:渠道發單數、渠道完單數、排隊乘客數、乘客排隊時長、司機好評率、司機接單量、司機取消數等

指標選取之后,下面就是最重要的分析維度選擇了,前面指標體系定義里講過維度是指標體系的核心,沒有維度,單純說指標是沒有任何意義的,所以維度選擇層面主要通過資料分析視角結合實際分析業務場景來確定,例如城市維度、商圈維度、渠道維度、時間維度、用戶標簽維度等,

3.2 用分析模型搭建指標體系

在《精益資料分析》一書中給出了兩套比較常用的指標體系建設方法論,其中一個就是比較有名的海盜指標法,也就是我們經常聽到的AARRR海盜模型,海盜模型是用戶分析的經典模型,它反映了增長是系統性地貫穿于用戶生命周期各個階段的:用戶拉新(Acquisition)、用戶激活(Activation)、用戶留存(Retention)、商業變現(Revenue)、用戶推薦(Referral),

AARRR模型

  • A拉新 通過各種推廣渠道,以各種方式獲取目標用戶,并對各種營銷渠道的效果評估,不斷優化投入策略,降低獲客成本,涉及關鍵指標例如新增注冊用戶數、激活率、注冊轉化率、新客留存率、下載量、安裝量等

  • A活躍 活躍用戶指真正開始使用了產品提供的價值,我們需要掌握用戶的行為資料,監控產品健康程度,這個模塊主要反映用戶進入產品的行為表現,是產品體驗的核心所在,涉及關鍵指標例如DAU/MAU 、日均使用時長、啟動APP時長、啟動APP次數等

  • R留存 衡量用戶粘性和質量的指標,涉及關鍵指標例如留存率、流失率等

  • R變現 主要用來衡量產品商業價值,涉及關鍵指標例如生命周期價值(LTV)、客單價、GMV等

  • R推薦 衡量用戶自傳播程度和口碑情況,涉及關鍵指標例如邀請率、裂變系數等

可以根據實際業務場景,結合使用OSM和AARRR模型,來系統性的選擇不同階段所需要的核心資料指標,

3.3 場景化搭建指標體系

目前階段互聯網業務比較流行的一種通用抽象場景“人、貨、場”,實際就是我們日常所說的用戶、產品、場景,在通俗點講就是誰在什么場景下使用了什么產品,不同的商業模式會有不同的組合模式,以滴滴實際場景為例:哪些場景(此處場景定義為終端,如Native,微信,支付寶)的什么人(乘客)在平臺上使用了哪些貨(平臺業務線,如快車/專車等),進而為評估用戶增長的價值和效果,

3.3.1 “人”的視角

從“人”的視角,我們比較關心的是什么乘客在什么時間打的車,排了多長時間,等了多長時間上車,周期內第幾次打車,打車花了多少錢,是否有投訴和取消行為,具體到資料指標主要看發單用戶數、完單用戶數、客單價、周期內完單訂單數、取消訂單數、評價訂單數等,

3.3.2 “貨”的視角

從“貨”的視角,我們比較關心的就是成交了多少,交易額多少,花了多少,到具體資料指標主要會看GMV、成交率、取消率指標,在進一步會細分到城市、區域,一級品類、二級品類,資料的效果通過目標對比,橫向對比、歷史比較等方式進行分析確定,

3.3.3 “場”的視角

從“場”的視角,我們比較關心的就是哪個渠道用戶點擊量大曝光率大,帶來了多少新用戶,完成多少交易訂單,客單價是多少;或者是哪個活動拉新或促活效果怎么樣轉化率多少,結合場景資料實際情況制定對應策略,

以上分別從“人”、“貨”、“場”三個角度進行了資料指標和分析維度的提煉,下面我們把三類指標結合指標分級方法進行分解關聯,

4. 怎么管理指標體系

4.1痛點分析

主要從業務、技術、產品三個視角來看:

  • 業務視角

    業務分析場景指標、維度不明確;

    頻繁的需求變更和反復迭代,資料報表臃腫,資料參差不齊;

    用戶分析具體業務問題找資料、核對確認資料成本較高,

  • 技術視角

    指標定義,指標命名混亂,指標不唯一,指標維護口徑不一致;

    指標生產,重復建設;資料匯算成本較高;

    指標消費,資料出口不統一,重復輸出,輸出口徑不一致;

  • 產品視角

    缺乏系統產品化支持從生產到消費資料流沒有系統產品層面打通;

4.2 管理目標

  • 技術目標
    統一指標和維度管理,指標命名、計算口徑、統計來源唯一, 維度定義規范、維度值一致

  • 業務目標
    統一資料出口、場景化覆寫

  • 產品目標
    指標體系管理工具產品化落地;指標體系內容產品化落地支持決策、分析、運營例如決策北極星、智能運營分析產品等

4.3 模型架構

4.3.1 業務線

業務板塊定義原則:業務邏輯層面進行抽象、物理組織架構層面進行細分,可根據實際業務情況進行層級分拆細化,層級分級建議進行最多進行三級分拆,一級細分可公司層面統一規范確定,二級及后續拆分可根據業務線實際業務進行拆分,例如滴滴出行領域業務邏輯層面兩輪車和四輪車都屬于出行領域可抽象出行業務板塊(level一級),根據物理組織架構層面在進行細分貧訓、網約車、出租車、順風車(level二級),后續根據實際業務需求可在細分,網約車可細分獨乘、合乘,貧訓可細分單車、企業級,

4.3.2 規范定義

  1. 資料域 指面向業務分析,將業務程序或者維度進行抽象的集合,其中,業務程序可以概括為一個個不拆分的行為事件,在業務程序之下,可以定義指標;維度,是度量的環境,如乘客呼單事件,呼單型別是維度,為了保障整個體系的生命力,資料域是需要抽象提煉,并且長期維護更新的,變動需執行變更流程,

  2. 業務程序

    指公司的業務活動事件,如,呼單、支付都是業務程序,其中,業務程序不可拆分,

  3. 時間周期

    用來明確統計的時間范圍或者時間點,如最近30天、自然周、截止當日等,

  4. 修飾型別

    是對修飾詞的一種抽象劃分,修飾型別從屬于某個業務域,如日志域的訪問終端型別涵蓋APP端、PC端等修飾詞,

  5. 修飾詞指的是統計維度以外指標的業務場景限定抽象,修飾詞屬于一種修飾型別,如在日志域的訪問終端型別下,有修飾詞APP、PC端等,

  6. 度量/原子指標

    原子指標和度量含義相同,基于某一業務事件行為下的度量,是業務定義中不可再拆分的指標,具有明確業務含義的名稱,如支付金額,

  7. 維度

    維度是度量的環境,用來反映業務的一類屬性,這類屬性的集合構成一個維度,也可以稱為物體物件,維度屬于一個資料域,如地理維度(其中包括國家、地區、省市等)、時間維度(其中包括年、季、月、周、日等級別內容),

  8. 維度屬性

    維度屬性隸屬于一個維度,如地理維度里面的國家名稱、國家ID、省份名稱等都屬于維度屬性,

  9. 指標分類主要分為原子指標、派生指標、衍生指標:

  • 原子指標基于某一業務事件行為下的度量,是業務定義中不可再拆分的指標,具有明確業務含義的名稱,如呼單量、交易金額
  • 派生指標是1個原子指標+多個修飾詞(可選)+時間周期,是原子指標業務統計范圍的圈定,派生指標又分以下二種型別:
    事務型指標 是指對業務程序進行衡量的指標,例如,呼單量、訂單支付金額,這類指標需要維護原子指標以及修飾詞,在此基礎上創建派生指標,
    存量型指標是指對物體物件(如司機、乘客)某些狀態的統計,例如注冊司機總數、注冊乘客總數,這類指標需要維護原子指標以及修飾詞,在此基礎上創建派生指標,對應的時間周期一般為“歷史截止當前某個時間”,
  • 衍生指標 是在事務性指標和存量型指標的基礎上復合成的,主要有比率型、比例型、統計型均值

4.3.3 模型設計

主要采用維度建模方法進行構建,基礎業務明細事實表主要存盤維度屬性集合和度量/原子指標;分析業務匯總事實表按照指標類別(去重指標、非去重指標)分類存盤,非去重指標匯總事實表存盤統計維度集合、原子指標或派生指標,去重指標匯總事實表只存盤分析物體統計標簽集合,指標體系在數倉物理實作層面主要是結合數倉模型分層架構進行指導建設,滴滴的指標資料主要存盤在DWM層,作為指標的核心管理層,

4.4 指標體系元資料管理

4.4.1 維度管理

包括基礎資訊和技術資訊,由不同角色進行維護管理,

  • 基礎資訊對應維度的業務資訊,由業務管理人員、資料產品或BI分析師維護,主要包括維度名稱、業務定義、業務分類,
  • 技術資訊對應維度的資料資訊,由資料研發維護,主要包括是否有維表(是列舉維度還是有獨立的物理維表)、是否是日期維、對應code英文名稱和中文名稱、對應name英文名稱和中文名稱,如果維度有維度物理表,則需要和對應的維度物理表系結,設定code和name對應的欄位,如果維度是列舉維,則需要填寫對應的code和name,維度的統一管理,有利于以后資料表的標準化,也便于用戶的查詢使用,

4.4.2 指標管理

包括基礎資訊、技術資訊和衍生資訊,由不同角色進行維護管理,

  • 基礎資訊對應指標的業務資訊,由業務管理人員、資料產品或BI分析師維護,主要包括歸屬資訊(業務板塊、資料域、業務程序),基本資訊(指標名稱、指標英文名稱、指標定義、統計演算法說明、指標型別(去重、非去重)),業務場景資訊(分析維度,場景描述);
  • 技術資訊對應指標的物理模型資訊,由資料研發進行維護,主要包括對應物理表及欄位資訊;
  • 衍生資訊對應關聯派生或衍生指標資訊、關聯資料應用和業務場景資訊,便于用戶查詢指標被哪些其它指標和資料應用使用,提供指標血緣分析追查資料來源的能力,

原子指標定義歸屬資訊 + 基本資訊 + 業務場景資訊
派生指標定義時間周期 + 修飾詞集合 + 原子指標
修飾型別主要包含型別說明、統計演算法說明、資料源(可選)

4.5 指標體系建設流程

4.5.1 建模流程

建模流程主要是從業務視角指導工程師對需求場景涉及的指標進行主題抽象,歸類,統一業務術語,減少溝通成本,同時避免后續的指標重復建設,

分析資料體系是模型架構中匯總事實表的物理集合,業務邏輯層面根據業務分析物件或場景進行指標體系抽象沉淀,滴滴出行主要是根據分析物件進行主題抽象的,例如司機主題、安全主題、體驗主題、城市主題等,指標分類主要是根據實際業務程序進行抽象分類,例如司機交易類指標、司機注冊類指標、司機增長類指標等,基礎資料體系是模型架構中明細事實表和基礎維度表的物理集合,業務邏輯層面根據實際業務場景進行抽象例如司機合規、乘客注冊等,還原業務核心業務程序,

4.5.2 開發流程

開發流程是從技術視角指導工程師進行指標體系生產、運維及質量管控,也是資料產品或資料分析師和數倉研發溝通協調的橋梁,

4.6 指標體系圖譜建設

4.6.1 指標體系圖譜概述

指標體系圖譜也可稱為資料分析圖譜主要是依據實際業務場景抽象業務分析物體,整合梳理物體涉及的業務分類、分析指標和維度的集合,

建設方法:
主要是通過業務思維、用戶視角去構建,把業務和資料緊密關聯起來,把指標結構化分類組織

建設目的:

  • 對于用戶:
    便于用戶能夠快速定位所需指標和維度,同時通過業務場景化沉淀指標體系,能夠快速觸達用戶資料訴求

  • 對于研發:
    利于后續指標生產模型設計、資料內容邊界化、資料體系建設迭代量化和資料資產的落地

4.6.2 指標體系圖譜模型

4.6.3 指標體系圖譜實體

5. 指標體系產品化

指標體系涉及的產品集主要是依據其生命周期進行相應建設,通過產品工具打通資料流,實作指標體系統一化、自動化、規范化、流程化管理,因為指標體系建設本質目標是服務業務,實作資料驅動業務價值,所以建設的核心原則是“輕標準、重場景,從管控式到服務式”,通過工具、產品、技術和組織的融合提高用戶使用資料效率,加速業務創新迭代,其中和指標體系方法論強相關產品就是指標字典工具的落地,其產品的定位及價值:

  • 支撐指標管理規范從方法到落地的工具,自動生成規范指標,解決指標名稱混亂、指標不唯一的問題,消除資料的二義性
  • 統一對外提供標準的指標口徑和元資料資訊

工具設計流程 (方法論->定義->生產->消費)

指標定義

指標生產

6. 結束語

文章整體介紹了滴滴指標體系建設方法論和工具產品的建設情況,目前指標字典和開發工具已實作流程打通,與資料消費產品的打通后續會通過DataAPI方式提供資料服務,規劃建設中,指標體系建設方法論和工具已經在滴滴集團內進行推廣使用,滴滴網約車、貧訓、車服等部門已經開始接入使用,截止目前共有5000+指標進入指標體系,覆寫公司核心業務板塊、88個資料域、385個業務程序,52個業務場景,方法論和工具也會持續迭代實踐,

團隊介紹

滴滴云平臺事業群滴滴基礎平臺部資料治理部-數倉團隊負責公司網約車、出租車、順風車、國際化出行業務的資料倉庫的架構、規劃、設計及資料內容產品的建設作業,支撐公司運營、產品、分析、戰略、安全、體驗等核心業務部門的資料決策分析,提供完整、可靠、高質量的資料服務,

作者介紹

專注資料倉庫體系化建設,產品化數倉理念推廣及實踐者

延伸閱讀

內容編輯 | Charlotte
聯系我們 | [email protected]
滴滴技術 出品

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/1085.html

標籤:大數據

上一篇:MPP (Massively Parallel Processing)大規模并行處理

下一篇:單表千萬行資料庫 LIKE 搜索優化手記

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more