作者：京東零售 周雪梅
以資料思維和技能提高測驗覆寫率和效率，資料應用測驗，功能測驗主要聚焦在資料流向（輸入和輸出），
一、背景
資料質量組當前主要承接黃金眼和商智中的供應鏈模塊，商智包括PC（品牌版:商家端，運營端）和M端，各模塊的產品特征和測驗范圍和策略的通用模式如下圖所示，圖中灰色部分是待建設中，
從圖中可見，產品的資料流向主要包括業務資料、模型資料、后臺應用、前臺應用四個模塊，更細一點資料流向包括以下幾步
- 應用離線（T+1）和實時（大促控制臺當日和實時庫存）資料加工到app層表中，然后推到ck中；
- 用戶在前臺操作確定查詢條件后查詢，前臺會將該查詢請求到后臺，后臺決議出指標維度，查詢ck后同步指標結果給前臺，然后給用戶展示，
二、測驗策略
測驗策略，首先聚焦在從0到1的測驗場景，后面會針對一些特殊場景進行單獨的介紹，
1、模型資料
模型資料的測驗前提是了解到資料安全和資料時效（特別是deadline時間），策略主要包括探測、功能測驗、監控，
- 探測主要采用自動化的方式，按模式校驗輸出html的報告，當前完成了磁區連續性探測、NULL占比、統計變數、列舉欄位的分布三種模式，后續計劃加上環比，以及包含部門、金額、數量等供應鏈涉及的關鍵字的特殊校驗；
- 1）磁區連續性探測識別：磁區總數、結束和開始時間的天數差距去識別磁區型別，來判斷磁區是否連續
- 2）最近三個dt的總數環比（環比差距0.1會自動標紅）
- 3）最近三個dt的NULL占比和環比（NULL環比差距0.1會自動標紅）
- 4)最近三個dt的統計值情況
- 功能測驗主要采用手工和自動化的方式，自動化主要是針對通用的資料屬性測驗，手工主要是針對業務屬性和非通用資料屬性的測驗，
- 監控待建設，后續的計劃是把探測和功能測驗沉淀的自動化沉淀為任務進行頻次監控
2、后臺測驗
后臺測驗的測驗范圍主要集中在功能（指標維度的準確性）、性能和安全，
- 功能（指標維度的準確性），采用手工和自動化回歸的方式進行，自動化是依托九數和deeptest平臺建設的，流水線的方式自動生成deeptest支持的用例進行回歸測驗，未來規劃是提升介面驗證的覆寫率和適應場景，
- 安全，把安全的測驗點建設到后臺的功能測驗中，權限內可查非權限內不可查，
- 性能
3、前臺測驗
前臺測驗聚焦在資料的輸入輸出和其他，輸入指前臺的請求入參是否準確；輸出是指前臺樣式展示和資料取值（即后臺介面回傳的key和前臺展示的映射關系），其他是指頁面兼容性和資源權限等，
1）前臺輸入測驗，現狀是采用手工+錄制識別的方式驗證請求入參是否準確，錄制識別的方式采用chrome插件MeterSphere JMX Recorder錄制前臺請求并匯出為jmx檔案，錄制的方式建議每次改變一個查詢條件觸發后臺查詢，對匯出的jmx檔案進行識別轉換為df，利用視窗函式去驗證這一請求和上一次請求的不同之處是否只有1處，下面兩圖分別為檔案決議后的df物件和檢測入參變化的結果（rank非1的變化數大于等于2就需要細化查看是否有問題，其中變化項change_value，變化數change_n，請求的順序rank），執行命令#python test_web_input.py jmx檔案（autotest-data/公共/前端）
2）前臺輸出測驗范圍主要包括頁面樣式展示、資料映射等，當前在持續建設用例模板，
- 樣式展示主要是文本和數值的展示樣式，主要采用人工驗證沉淀期望結果，然后自動化回歸，采用的cypress（支持介面mock）可視化的測驗，當前的建設是梳理包括的資料樣式的模式，通過mock的方式快速回傳樣式下的多場景，如下圖可見，介面為輸入項，選擇介面中包括的樣式范圍，輸出需要多少種測驗場景能覆寫所有的樣式場景，
- 資料映射是后臺介面中資料和前臺展示資料的映射關系正確，主要采用人工驗證沉淀期望結果，然后自動化回歸，采用的cypress可視化的測驗，
3）前臺的其它測驗，兼容和權限
- 兼容是瀏覽器或者手機版本的兼容性測驗；
- 權限包括選單和資料權限
4、技改
資料應用的技改指數值未變，架構升級，
4.1資料技改
測驗方案是新表和老表資料對比結果是否一致，采用的方式有兩種，1）hivesql的join；2）差集為空
4.2后臺技改
測驗方案是新老應用的介面資料是否一致，采用的方式是介面測驗，選擇入參串列，回圈遍歷新老介面，對介面回傳轉換為df，df對比是否一致
三、測驗沉淀
自動化沉淀到中coding中，里面包含了資料、后臺和前臺三個模塊，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/552309.html
標籤：其他
下一篇：返回列表