音視頻社交軟體 Clubhouse 的估值較 3 個月前又翻了兩番,當地時間 4 月 19 日,Clubhouse 宣布完成 C 輪融資,估值已達 40 億美元,
而這只是實時音視頻通信大爆發中的冰山一角,
在馬斯克“直播帶貨”的催化下,越來越多的語聊房產品出現,Facebook 也被爆出即將推出 Clubhouse 同類競品,不僅如此,在線辦公、在線教育、泛娛樂場景中對實時音視頻的需求也在激增,
得益于 5G、RTC 等技術的發展,一間語聊房、或是活動直播間、在線課堂等都可以快速完成搭建并發布,進一步刺激實時音視頻市場,以融云實時音視頻服務為例,開發者只需三步,就可以在 30 分鐘內快速集成音視頻能力:
? 第一步,申請開發者注冊,官網會發送 App key 等資訊,下載 SDK,這一步驟通常十分鐘內可以完成,
? 將下載好的 SDK 集成到自己的開發工具里,初始化 SDK,然后加入房間,初始化 SDK 可幫助初始化設備、音視頻相關引數等,
? 發布自己的音視頻流和訂閱別人的音視頻流,
5G 時代需要更便捷的 RTC 技術服務
為何市場需要快速集成實時音視頻的能力?
一方面,在 5G 的作用下,許多傳統互聯網場景中正在嵌入實時音視頻功能,另一方面,專注應用層面的廠商需要以最小的成本,最快的速度上線功能,以支撐產品的發布和運營,
融云 CTO 任杰認為,5G 給 RTC 市場帶來兩大方面的變化,
一是 5G 的寬帶和延時有較大提升,所以未來高清的、低延遲的音視頻通話將會成為主流,在 4G 網路之下,實時音視頻通話主流的為 720p,1080p 穩定性略有不足,而在 5G來臨之后 ,1080p 甚至是更高清的 4K、8K 通話場景會普遍增加,
二是增加各種物聯網設備接入,此前 RTC 實時音視頻領域中,主要是移動端、PC 端應用,其他物聯網設備如車機、攝像頭、大屏設備等接入較少,任杰認為,在 5G 到來之后,各種物聯網設備的接入場景也會增加,從技術層面看,5G 解決延遲問題之后,大量設備都可接入,許多實時作業系統 ATOS ,以及 Linux 在 RTC 領域的應用場景也會變得更加主流,
5G 的到來孕育了許多新生的實時音視頻應用場景,這也意味著,RTC 技術服務商需要提供更好的支持,
“我們無論何時何地都要能提供高清、穩定、流暢的音視頻體驗,”任杰總結,RTC 領域相關技術很多,但融云的業務目標僅此一個,當然,在呈現給用戶優質的音視頻體驗背后,融云會去解決網路帶寬限制、音視頻處理等等技術問題,
RTC 技術服務商在做什么?
在高清、穩定、流暢的音視頻服務,以及“30 分鐘快速集成”背后,RTC 技術服務商要做的作業很多,
通常,RTC 技術堆疊可以分為兩方面:端上的處理和 server 端的處理,
端上的處理,主要為聲音和視頻的編解碼,編解碼完成后會進行系列聲音和視頻的前處理,前處理包括回聲、降噪,嘯叫抑制,聲音增益,3A 演算法等,server 端類似端上處理技術,如錄音錄像等,但更側重傳輸層面,如網路的優化等,
網路優化又可以分成兩大部分:對抗弱網,分布式網路和調度,無論是5G、4G 還是 WiFi,只要是無線信號,都會遇到信號遮擋、衰減的問題,表現為網路不太穩定,經常在瞬時的丟包會比較大,延遲也可能會突然變大,
另外,端點設備接入網路路由之后,在兩個端或是多個端之間進行實時音視頻流的傳輸,需要經過多個網路節點,那么哪一套路徑能讓端點更好地接入,使傳輸流更穩定,便是網路路由的策略,也是分布式網路與調度要解決的問題,
對于這些問題,融云從以下三方面做了優化:
第一,弱網對抗相關演算法的優化,包括重新定義一些演算法,對隨機丟包和帶寬受限,要嚴格區分并且能夠快速反應等,
第二,動態路由策略方面,融云會做一些提前探測,動態檢查鏈路,大概可在3~4秒之內發現鏈路變壞的情況,并立即重新調度,包括服務端、負載的一些調度,即分布式部署,
第三,全球網路的部署,融云音視頻使用大量 IaaS,也和全球的一些機房合作,盡可能多地部署節點,同時對這些節點的狀態進行實時監控、擴容、增加節點等,后臺也有音視頻質量的 QoE 系統監控整個的網路,實時進行調優,
做開發者的支持方,而非競爭對手
“我們是 PaaS 提供方,會向上做 aPaaS,但不會直接做 to c 的產品”,任杰表示,只要復用程度較高,融云就會考慮將其向上封裝,幫助開發者的使用更加貼近場景化,但融云始終是面向開發者服務,因此不會做 to c 產品,和開發者客戶形成競爭關系,
以語聊房為例,融云為語聊房應用提供的支持集中在技術層面,使其呈現出的聲音效果更好,
在開發者花了 30 分鐘快速集成一個語聊房應用之后,融云還會再根據業務場景做 SDK 呼叫和開發,以便開發者可以更快速地實作使用混音、添加背景音樂、麥位管理、網路信號展示等各種功能,
一是語聊房中麥位的相關控制,任杰表示,麥位支持依靠信令管理,因為有多年 IM 領域的積累,信令是融云的傳統優勢,并且在語聊房方面融云也有一套完整的技術支持,可以更容易、更輕松地完成麥位管理,二是實時音視頻中聲音的相關處理,包括美聲、變聲,各種音效,混音之后的聲音效果等等,
任杰指出,由于 RTC 領域涉及到許多具體的音視頻概念,以及音視頻相關的質量控制,開發環境有一定復雜度,SDK 本身越場景化,就會越容易集成,因為這對于開發者來說是隱藏技術細節的,所以大家提出應該往 SaaS 化方向發展,
“在一定程度上我非常同意,對于我們 PaaS 能力的提供方 ,也最希望降低開發者成本,所以我們也在往上做,往 SaaS 和 PaaS 之間,做 aPaaS 能力,比如我們在提供音視頻能力之外,也提供 MeetingLib 整套的控制信令體系,和音視頻流的一些操作直接相關, ”
此時開發者使用這種 SDK,就無需太關注音視頻流的一些處理,比如需要禁麥時,就在MeetingLib里通過一個標準介面操作,反之,如果沒有MeetingLib,開發者也可以用RTCLib自己做,但是就需要自己在應用側發禁令,或者呼叫 IM 能力去給每個人發禁令,禁掉每個人的麥克風,
“所以我們往上做一層,開發者就不用關注每一道具體流程,每一個用戶的狀態,”任杰表示,這就是他們目前正在做的,
此外,在客戶支持層面,融云也總結出最需要支持的兩類問題,
一類是 SDK 接入,即開發集成相關問題,任杰透露,客戶一般會先看檔案,或者是融云提供服務的支持體系,工單、支持群,以這種方式去幫助客戶完成集成作業,但由于大多數開發者對音視頻技術堆疊較為陌生,在遇到一些非通用的具體開發概念時會有難處,
對此,融云會在相關檔案中提供概要性說明,如編碼、幀率、碼率等基本概念的說明等,此外還有一些程式性說明,詳細描述 SDK 集成流程;提供 quick demo 以輔助開發者快速使用和集成,
另一類則是質量相關的支持,因為音視頻在實時通話程序中受網路影響相對較大,端點網路可能出現問題,“在這個程序中可能需要排查一系列的問題,我們也有自助平臺——北極星,”任杰稱,北極星本質上是音視頻的一套 QoE 體系,這套體系會記錄每一通通話;全部程序中音視頻流的傳輸情況,包括傳輸的碼率,卡頓率,是否有黑屏等系列資料指標,資料曲線;開發者也可以在平臺上自助查詢通話質量,統計指標等,
下一代 RTC 市場
作為 RTC 市場技術服務商,融云最近正在做更新鮮的嘗試,
5G 催生了更多 VR 應用,很快,VR 直播應用也會到來,融云已和 VR 行業多家企業達成合作,目前為其提供遠程維修、技術指導等服務,“隨著 5G 的推廣,娛樂業真正大規模的 to C 場景會逐漸出現,”
泛娛樂應用是下一代 RTC 應用的一大場景,除了正在爆發的語音房之外,還有直播、狼人殺、劇本殺、KTV 等等,以及不久的將來與 VR 融合的新場景,
此外還有辦公類應用,包括會議場景,監控場景等,任杰舉例,比如在公安、保安,應急指揮作業的監控場景中,也會涉及到一些設備的接入,包括 GB28181 的支持,SIP 的支持等等,在線教育場景中也涉及到許多細分應用,如小班課、大班課、大直播、雙師等等,
近期,為了更好的賦能開發者探索更多新鮮應用,融云還發起 20 萬分鐘免費音視頻通享活動,凡是開通實時音視頻功能的用戶,立享每月免費200,000分鐘,視頻最高可支持1080P 超高清解析度,
在 RTC 應用爆發的當下,融云作為通信云領域引領者,結合多年 IM 領域能力,已經可提供覆寫全通訊場景的技術服務,
任杰表示,融云的優勢來自多方面:融云是公有云的 PaaS 提供方,IM 也做了很多年,而 99% 以上的 RTC 場景中都會用到 IM 相關能力,二者結合,融云會有很大的優勢;此外,融云擁有非常專業的大規模團隊,并且在音視頻技術上大力投入,不斷迭代技術,“我們一家服務商可以通過‘RTC+IM+PUSH’的整合通信能力,以一套SDK覆寫所有通信場景,只要找我們融云一家就可以完成這件事,”
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/281196.html
標籤:AI
上一篇:深度學習03-sklearn.LinearRegression 原始碼學習
下一篇:介紹一位超級大美女
