主頁 >  其他 > 上手 WebRTC DTLS 遇到很多 BUG?淺談 DTLS Fragment

上手 WebRTC DTLS 遇到很多 BUG?淺談 DTLS Fragment

2021-06-09 17:00:09 其他

上一篇《詳解 WebRTC 傳輸安全機制:一文讀懂 DTLS 協議》詳細闡述了 DTLS,本文將結合 DTLS 開發中遇到的問題,詳細解讀 DTLS 的一些基礎概念以及 Fragment 的機制,并進一步深究 DTLS 協議,

作者|泰一

審校|進學、莫戰

前言

最近在做 J 和 G 這兩套 RTC 系統的 DTLS-SRTP 握手加密作業,要求使用 CA 機構頒發的證書,在本機除錯的程序中發現:G 系統使用 CA 證書,DTLS 握手成功,而 J 系統則握手失敗,

經過幾番除錯與分析,定位到了原因:J 系統相較于 G 系統多了一個 TURN 轉發模塊,該模塊設定的接識訓沖區的上限值為 1600 位元組,而 CA 證書的大小則有近 3000 位元組,因此 TURN 模塊轉發給客戶端的證書不完整,導致 DTLS 握手失敗,

大家都知道, WebRTC 的 DTLS 使用的是自簽名的證書,這個證書一般不會太大,如下圖所示,只有 286 位元組,

然而,如果要使用 CA 頒發的證書,那么這個證書可能會很大,如下圖所示,竟達到了 2772 位元組,顯然超出了 TURN 模塊的接識訓沖區的大小,

上圖中,你可能注意到了這個 CA 證書被分成了兩片(two fragments),這其實是 DTLS 協議層做的,不過值得思考的是,CA 證書的每一片的大小都未超出 TURN 模塊接識訓沖區的 1600 位元組的限制,但是為什么 J 系統的 TURN 轉發模塊依然會接收失敗呢?

這是因為證書雖然被分片,但是在發送到 TURN 模塊時并沒有按照分片獨立發送,仍然是全部打包到了同一個 UDP 資料報中進行發送,所以接收肯定會失敗,

下面,我們將一起了解下 DTLS Fragment 的機制,首先要理清幾個概念,

Message、Record、Flight

DTLS 協議分為兩層:底層的 record protocol 和上層的 handshake protocol、change cipher spec protocol、alert protocol 以及 application data protocol,
DTLS

Remark:握手協議、密碼規格變更協議、警告協議、應用資料協議均在 DTLS 記錄協議的上層,這四種協議統稱為 DTLS 握手協議,

Note:關于記錄和握手這兩層協議各自的作用,這里就不再贅述,可以參考 WebRTC 中 DTLS 的應用,

DTLS Message 是一條完整的 DTLS 訊息,比如握手訊息:Client Hello、Certificate、Client Key Exchange 等;比如密碼規格變更訊息:Change Cipher Spec,

DTLS Record 是記錄層(Record Layer)的概念,可以認為它是一個殼子,里面裝載著 DTLS Message,如下圖:

image.png

Message 和 Record 是一對一或者一對多的關系,也就是說,一個 Record 不一定裝了一條完整的 Message,因為有可能是多個 Record 組成一個完整的 Message,

如果 Message 很小,未超過 MTU 的限制,那么一個 Record 足以裝下一條 Message;如果 Message 很大,超過 MTU 的限制,那么就需要多個 Record 來裝這條 Message,即這條 DTLS Message 會被分割為多個 Fragment,然后分別裝入多個 Record,

Remark:最大傳輸單元(Maximum transmission Unit, MTU)是資料鏈路層的概念,MTU 限制的是資料鏈路層的 payload 大小,也就是其上層協議的大小,比如 IP、ICMP,在以太網中,鏈路層的 MTU 是 1500 位元組,

比如,Certificate 這個握手訊息,證書大小很容易就超過 MTU 的限制,那么這個訊息就會被分割為多個 Fragment 并被分別存放到多個 DTLS Record,每個 Fragment 的大小要保證不超過 MTU 的限制(PS:導讀的第二張圖就是一個實際的例子),

Flight 中文解釋為 “航班” 或者 “航程”,是一個或者一組打包好的 Message,這組 Message 屬于同一個 “航程”,視為一個整體,通過單個 UDP 資料報發送,

image.png

如上圖所示,本次 DTLS 握手一共有 4 個 Flight,Flight2 是 Server Hello、Certificate、Server Hello Done 這三條 Message 的組合,其中 Certificate 這條 Message 被分割為兩個 Fragment,裝到兩個 Record 中,Flight2 通過大小為 2969 位元組的 UDP 資料報發送出去,

Remark:Flight2 這個 2969 位元組的 UDP 包是在本機環境下除錯、抓包得到的,并不代表 MTU 有這么大,在實際的網路中,不會出現這種遠超 MTU 限制的資料包,

到這里,關于 Message、Record、Flight 的概念就講完了,三者之間的關如下圖:

Fragment

下面我們談談,DTLS 為什么要對 DTLS Message 做分片,

我們知道,受以太網 MTU 影響,UDP 資料報最大為 1500 位元組,超出這個限制就會被 IP 層分片(PS:以太網 MTU 設定為 1500 位元組是為了最大化信道傳輸利用率),

但是如果 IP 層分片機制被禁止呢?這就會導致大于 1500 位元組的 UDP 資料報在 IP 層被丟棄,因此,DTLS 要對訊息做分片,來滿足 IP 層對報文大小的要求,DTLS1.2: Message Size 這一節解釋了這個原因,

By contrast, UDP datagrams are often limited to < 1500 bytes if IP fragmentation is not desired. In order to compensate for this limitation, each DTLS handshake message may be fragmented over several DTLS records, each of which is intended to fit in a single IP datagram.

因此,DTLS 的分片機制很簡單:在發送時把 DTLS Message 分割成多個連續的 DTLS Record,在接收時快取分片,直到擁有完整的 DTLS Message,

我們可以使用 OpenSSL 的這兩個 API 設定 MTU 的大小:

SSL_set_options(dtls, SSL_OP_NO_QUERY_MTU);
SSL_set_mtu(dtls, 1500);

上面的代碼設定了 MTU 為 1500,那么當 DTLS Message 大小超過 1500 位元組,就會觸發 DTLS 的分片機制,同理,如果設定 MTU 為 300,那么當 DTLS Message 大小超過 300 位元組,就會分片,如果不進行設定,那么 MTU 會走默認值,如下圖所示,證書訊息被分割成了若干個大小為 288 位元組的固定的 Fragment,

Remark:TLS 底層是 TCP 協議,為位元組流式傳輸,因此 TLS 沒有訊息分片機制,

我們還可使用下面的 API 設定 Fragment 的大小的上限:

SSL_set_max_send_fragment(dtls, 1500);

最后,我們回到導讀描述的問題:證書訊息實際上確實被分割為兩片并分別存盤到兩個 Record,但是由于在發送的時候還是打包到了一個 UDP 資料報,因此,過大的 UDP 資料報導致 TURN 模塊并未接收完整,

更詳細的原因是:我們使用的是記憶體型的 BIO,在應用層呼叫 BIO_get_mem_data 得到的是關于 DTLS Message 的一塊連續的記憶體(雖然這塊記憶體中的證書訊息已經被 DTLS 切成兩個連續的 Fragment 并存在兩個 Record 中),而應用層在獲取到這塊記憶體后就直接通過 sendto 函式發送給了對端,因此,這個 UDP 報文當然還是特別大,導致接收失敗,

回過頭來再看下導讀中證書訊息分片的這張圖,兩個 Record 的 message sequence 欄位值相同,說明這是同一個 DTLS Message 的兩個 Fragment,且每個 Record 都有 fragment offsetfragment length 這兩個欄位,用來標識分片的邊界,所以,我們可以根據這兩個欄位去決議出每一個獨立的 Fragment,

當然,根據 Record 頭部的 Length 欄位足以確定邊界,這會使應用層的決議更加方便,所以,要解決這個問題,應用層要做的是:對從 BIO 獲取到的這塊訊息記憶體進行決議,得到每個 Record 的邊界,然后將每個 Record 以獨立的 UDP 報文發送出去,具體的決議代碼這里就不貼出來了,非常簡單,

最后,在實踐中發現,DTLS Record 不能跨 UDP 資料報發送,DTLS 1.2: Transport Layer Mapping 這一節也交代了這一點,也就是說,應用層要嚴格的按照 Record 的邊界決議出每一個 Record,分別通過獨立的 UDP 資料報發送,而不能按照自己的意愿隨意劃分為若干個 UDP 資料報發送,因為這可能會導致某個 DTLS Record 被切分到多個 UDP 資料報發送,從而導致接收端 DTLS 無法將收到的 DTLS Records 重組為完整的 DTLS Message,

下圖是 DTLS 分片獨立發送后的效果:

有興趣的讀者可以參考我寫的 DTLS demo,它實作了簡單的 DTLS 握手和分片獨立發送,也可以參考 開源視頻服務器 SRS 的 DTLS 實作,更加簡潔和詳盡,

總結

對于超過 MTU 限制的 DTLS Message,DTLS 會把它分割為多個 Fragment, 并分別存盤到各個 DTLS Record 中,因此一個 Fragment 一定是一個 DTLS Record,對于未超過 MTU 限制的 DTLS Message,則不會被分片,也是存盤到 DTLS Record 中,因此一個 DTLS Record 不一定是一個 Fragment,也有可能是一個完整的 DTLS Message,另外,MTU 的大小以及 Fragment 的最大值都可以使用 OpenSSL 的 API 進行設定,

由于我們通過記憶體型 BIO 獲取到了存盤了各個 DTLS Message 的這塊連續記憶體后,直接將其打包為 Flight,并通過單獨的 UDP 資料報文發送,因此這個 UDP 包仍然還是那么大,超出了 TURN 模塊接識訓沖區的上限和 MTU 的限制,所以為了做到真正的分片獨立發送,需要應用層自己去做 Fragment 的決議(其實就是決議 Record 的邊界),并分別通過獨立的 UDP 報文發送,

我們在解決了一個問題后,還要再問一下自己有沒有引入新的問題,

獨立發送每個 DTLS Record,雖然解決了 DTLS Message 超過 MTU 限制的問題,但是這也增加了 UDP 報文的數量,因此丟包的概率也會相應的增加,DTLS 重傳次數增加,握手的成功率降低,解決這個問題的一個方法是:不必每個 DTLS Record 都單獨 UDP 發送,可以多個 DTLS Record 發送,只要能保證它們加起來的大小不超過 MTU 的限制就可以,

同時,我們也要問一下自己有沒有更好的方法

比如目前的解決方法是應用層自己實作 Record 決議并獨立發送,那么 OpenSSL 是否已經有相關的 API 實作類似的功能,再比如 BIO 有沒有相關的 API 可以告訴我們讀取的記憶體資料中 Record 的數量以及每個 Record 的邊界?這個問題,以后有時間再調研吧,

感謝閱讀,

參考

DTLS 1.2
TLS 1.2

「視頻云技術」你最值得關注的音視頻技術公眾號,每周推送來自阿里云一線的實踐技術文章,在這里與音視頻領域一流工程師交流切磋,公眾號后臺回復【技術】可加入阿里云視頻云技術交流群,和作者一起探討音視頻技術,獲取更多行業最新資訊,

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/285719.html

標籤:其他

上一篇:“新內容 新互動”全球視頻云創新挑戰賽復賽啟幕

下一篇:easy-flows原始碼研習

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more