作者:京東工業 宛煜昕
一、怎樣的技術
?百度百科:
精準測驗是一套計算機測驗輔助分析系統,
精準測驗的核心組件包含的軟體測驗示波器、用例和代碼的雙向追溯、智能回歸測驗用例選取、覆寫率分析、缺陷定位、測驗用例聚類分析、測驗用例自動生成系統,這些功能完整的構成了精準測驗技術體系,
?其他定義
精準測驗是中國自己有知識產權的完全的理論體系,它同時關注功能點和代碼相關邏輯這樣一個方法論,是一種灰盒的測驗模式,
最開始在2014年的國際軟體測驗大會上發布精準測驗的時候,它叫穿線測驗,英文名字叫Threading Test,表達了精準測驗的本質,Threading這個英文單詞本身有兩個含義,一個是穿線一個是執行緒,建立用例和代碼的關系,相當于把黑盒和白盒關聯起來,做黑盒測驗也能看到白盒資料,同時把開發和測驗能夠關聯起來,測驗一做完,開發的邏輯馬上就能自動生成,另一個層面,精準測驗最本質就是執行緒測驗,因為精準測驗基于覆寫率白盒理論產生,它跟白盒最大的區別是它的覆寫率是執行緒級的,也就是說要追溯到用例這個級別,
二、技術發展
?歷史發展

?成熟度模型的五級劃分

三、知識與技能
這里介紹兩款,分別為JAVA和C/C++相關,
第一,開發的基礎和核心(編程)知識及所需要用到的版本管理工具(GIT)等,
第二,領域特定的知識、技術需要具備如下:
JAVA:Javassist(官網- https://www.javassist.org/ ),
ASM3.0(官網- https://asm.ow2.io/ ),
JaCoCo(官網- https://www.eclemma.org/jacoco/),
C/C++:匯編、反匯編,PE,逆向工程(IDA),
要用C/C++實作,通用與效率等方面沒得說,但各協議的插樁,代碼資訊的收集,復雜程度和作業量都不是一般人所能承受,要做好心里建設,
直接使用JaCoCo需要注意覆寫率的誤差,一些陳述句行,分支層級,其誤差會被指數級放大,其更適用于偏向輔助個人開發者和小型專案組對專案覆寫率進行非常基礎的評估,
?誤差產生的具體成因:
1.復雜系統通常由大量子模塊組成,JaCoCo無法實作對于內部被呼叫的子模塊進行插裝,因此對于子模塊覆寫率的評估會產生顯著的誤差,
2.如果某個子模塊沒有被呼叫,那么對于JaCoCo來說,該模塊內的方法等同于不存在,JaCoCo需要呼叫該子模塊,才能將該子模塊內的代碼計入覆寫率計算的“分母”,
3.除了幾種既定的邏輯意外事件,JaCoCo無法正確處理例外情況(Exception),如果在控制流程中遇到Exception,JaCoCo會把這種情況直接標記為未覆寫,這種判定方式直接的影響到了對程式邏輯關系的把控,造成對于覆寫率無法準確評估,
?誤差引發的后果:
1.偽瓶頸的產生,以及對測驗質量的錯誤高估,第一種情況,測驗人員投入大量作業之后,卻無法進一步提升覆寫率,造成對資源和實踐的浪費;第二種情況,會讓用戶誤將未達標的系統判定為達標,有可能引發嚴重的生產事故,
2.無法實作缺陷定位,大量的演算法和應用依托覆寫率的輸入,而缺陷定位更是其中最主要的實踐,
3.回歸測驗的精準度,受到了嚴重的影響,
?無損插樁技術(推薦)

精準測驗推出的SABI和SASI是中國自己的技術
SABI,SouceCode Analyzer ByteCode Intrumentation,就是說原始碼分析,位元組碼查看,觀測和分析是在原始碼,插樁是在位元組碼,
SASI,SouceCode Analyzer SouceCode Intrumentation,這是傳統商用白盒最基礎的技術,有時候對原始碼進行分析,直接在原始碼插裝,原始碼插裝以后,代碼經過高級語言、高級編譯器的編譯,直接生成最后發布包,這種是完全無損的標準技術,插裝代碼經過編譯器編譯后執行可靠性更高,
四、總結與介紹
大綱

1、測驗范圍,代碼分析

2、差異化

3、呼叫關系

4、度量與分析

5、質量評估

6、知識庫兼優化

7、用例預分析

8、自動化測驗與精準測驗

五、平臺
>設計思路
從產品的需求、功能模塊,開發的代碼到測驗的用例,從正向到逆向的覆寫,追溯和可視,

>大綱

>呼叫鏈與代碼覆寫
使用的是插樁,有點類似C++中的Hook技術,獲取所需資料資訊,

協議,HTTP,MySql,Dubbo,Redis等,需要先進行分析,找到關鍵插樁位置,然后結合使用設計模式進行收集(所需)資訊,
設計模式推薦兩個,1、反射+配接器,2、動態代理,
需要注意,代碼膨脹問題,
>影響范圍
假如有個應用系統開發出A版本提測,通過前端功能發起HTTP介面,平臺的實時快照收到HTTP介面資訊,將該次的介面相關資訊(類、方法、執行代碼行數)保存為系統快照; 當A版本開發后變為A_01版本,使用平臺對兩次版本(Jar包或War包)進行比對,通過系統快照中資訊會分析出變更項與影響項,如:類、方法、介面,

根據影響用例中的選單與介面,到介面測驗工具中進行執行,

>實作與應用
通過資料進行可視化,顯示服務/應用的啟動,拓撲圖,呼叫鏈,代碼覆寫,版本比對等資訊,

>>專案串列
添加,服務/應用

>>專案動態

啟動,服務/應用

1、搜索
可顯示多個服務/應用的拓撲關系圖

1)詳情視圖


?表結構,可查看介面與資料庫表間的關聯

?熱點,可查看介面與資料庫表的關聯個數

2)展開快照

這里顯示的節點是保存到系統快照的,
?表結構-資料庫表,遠程服務-呼叫的rpc介面,原始碼-代碼關系圖層;


?遠程服務,顯示遠程呼叫介面,如dubbo介面;

?源代碼關系圖譜,可查看代碼關聯關系和覆寫程度;

?清除圖譜,清除表結構、遠程服務、源代碼關系節點;
?詳情頁,跳轉到快照詳情頁;
?概要,顯示快照詳情中圖片;
?洗掉節點,洗掉顯示的節點;
3)搜索

?搜索資料庫表中,表名,欄位名,篩選條件;

?搜索介面,HTTP介面;

2、監控臺
通過HTTP介面實時獲取到協議、代碼相關資訊,不同于通過單元測驗得到代碼覆寫率,然后將這些資訊保存下來(我的快照和系統快照),

1)實時監控
實時展示介面的呼叫鏈及鏈上各節點資訊

2)我的快照
實時監控中可保存為我的快照,
2.1)呼叫鏈和鏈路分析的可視化
呼叫鏈即是服務與中間件的呼叫鏈拓撲圖層;鏈路分析即是代碼鏈路分析關系圖譜,
?"流程圖(拓撲圖)"中可查看到覆寫后端及各中間件資訊;

?"堆疊串列"中展示服務與中間件的應用名,型別,服務/方法,用時等資訊;

?點擊"</>"彈窗為代碼圖譜(代碼鏈路分析關系圖譜),點擊某個節點,即顯示某個方法的方法名稱、執行到的代碼行數、代碼總數、代碼覆寫率和圈復雜度資訊,


根據某個尾節點,能尋到開始節點;

2.2)查看代碼覆寫率報告
代碼覆寫率資訊串列,顯示我的快照串列中所有覆寫率資訊,類名、方法名、執行代碼行數、方法行數、覆寫率、圈復雜度;

3、應用中心
1)在線應用

2)應用
2.1)系統快照

快照目錄,點擊鏈接進入系統快照詳情頁

系統快照詳情頁,基本資訊頁簽

系統快照詳情頁,流程圖頁簽

系統快照詳情頁,堆疊串列頁簽,點擊</>打開代碼關系圖層(代碼關系鏈)

2.2)版本比對
比對檔案格式為Jar或War包,比對之后會產生記錄報告


開始比對后的結果顯示,能查看報告,顯示差異項,(比對)日志輸出(新增、修改、變更、洗掉的檔案與方法,類與方法的影響數)

2.2.1)報告
比對成功后查看報告,顯示變更項,影響用例,對比日志;點擊影響用例鏈接,會跳轉到(系統)快照詳情頁

參考
1、百度百科-精準測驗, https://baike.baidu.com/item/精準測驗/22355867
2、精準測驗白皮書v3.0-2019最新版,作者:星云精準測驗, https://wenku.baidu.com/view/fe7e99a401d276a20029bd64783e0912a2167c23.html
3、《不測的秘密-精準測驗之路》,作者:TMQ精準測驗實踐團隊,
4、網易嚴選的精準測驗實踐, https://www.infoq.cn/article/xuu91crqa4hcjz8uomjs
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/552007.html
標籤:其他
上一篇:別玩手機 影像分類比賽
下一篇:返回列表
