-
音頻
-
1、采樣率
- 是指在每個聲道上的采樣速率，而不是所有聲道的采樣速率
- 例如:16000Hz 表示1s中在連續信號中采集16000次，每一次叫做一個采樣點
-
2、采樣位寬(位數)
- 例如：16bit 表示每一個采樣點采集2個byte的資料，也就是2個位元組
-
3、聲道
- 常見的聲道有單聲道與立體聲
- 立體聲有L,R兩個聲道組成，我們可以在L，R中分別填充相同的資料或者不同的資料，以達到更強的音質和可以同時在L,R聽到不同的聲音，排列順序：L,R,L,R,L,R…
- 聲道通常只有一個L，或者R的資料，排列順序為：L,L,L… R,R,R…
-
4、音頻資料大小計算
- 例如：采樣率為16kHz,采用位寬為16bit，單聲道，在1分鐘中采集資料的大小為多少？
-
16000*2*60/1024/1024~=1.83MB -
5、PCM
- 聲音裸資料，量化格式
-
-
視頻
-
1、幀率fps
- 每秒顯示的影像幀數，或者說圖形處理器每秒更新的次數
- 大于等于24fps 電影基本這個幀率
-
2、碼率：
- 又稱位元率，指每秒傳送的位元(bit)數，音頻也有碼率
- 單位：bps（Bit Per Second）,bit單位太小，所以有kbps, Mbps, Gbps…
- 音視頻檔案大小計算
- 檔案大小 = bps *dur (bits) /8 (位元組數) /1024 (KB) / 1024 (MB)
- 如時長4分鐘，碼率為128kpbs的MP3 ，size = 128460/(8*1024) = 3MB , 視頻檔案大小計算方式一樣
-
3、辨率
- 8k: 7680×4320
- 4k: 4096×2160
- 2k: 2048×1080
- 1080P: 1920×1080
-
4、重繪率Hz
- 垂直重繪率指的是螢屏上的影像每秒重繪的次數，重繪率越高，影像越穩定，越好點，對眼睛越好，不容易疲勞，75Hz以上不易覺察閃爍和抖動
-
5、YUV顏色空間
- 是一種顏色編碼方法，對于視頻幀的裸資料的表示方式，其主要應用于優化彩色視頻信號的傳輸，向后兼容老式黑白電視機，
- Y：明亮度，UV：色度、飽和度
- 人對色度相對不敏感，所以視頻編碼時，會適當降低色度的寬帶
-
-
音視頻幾個碼
-
編碼（encode）
- 通過特定的壓縮技術，將某個視頻的視頻流格式轉換成另一種視頻格式的視頻流方式，一種減少位元組的演算法
- 1、視頻編碼：YUV420/422->H264 RGB888->H264（針對圖片序列，一張圖片的編碼是沒有意義的）
- 2、音頻編碼：PCM(原始)->AAC PCM(原始)->G726 PCM(原始)->G711
-
解碼（decode）
- 通過特定的解壓縮技術，將某個視頻格式的視頻流轉換成另一種視頻格式的視頻流方式
- 硬解：依靠硬體進行解碼，通過顯卡的視頻加速功能對視頻進行解碼，可以理解為有一個專門的電路板來進行視頻的解碼作業，是依靠GPU，減少CPU消耗
- 軟解：不依賴專門的硬體解碼模塊，依靠cpu運算來進行解碼，因為不是獨立模塊，所有的程式都在用cpu，所以會增加cpu的運算
-
轉碼（transcode）
- 視頻轉碼技術將視頻信號從一種格式轉換成另一種格式
- 視頻轉碼
- 1、解析度切換
- 2、改變幀率(frame rate)
- 3、改變位元率 等編碼引數
- 音頻轉碼
- 1、采樣率切換：輸出和輸出采樣率發生變化時
- 2、通道數改變
- 3、位寬改變
-
-
時間戳
- PTS Decode TimeStamp: 解碼時間戳
- DTS Presentation Time Stamp: 顯示時間戳
- 由于IPB中B幀的存在導致下一幀被解碼的時間會比顯示的時間提前，導致PTS和DTS輸出順序不一致
-
掃盲概念
-
實時流:
- Real Time stream 實時傳輸的音視頻流
-
錄像回放：
- 與實時流對應，錄下來播放
-
*服務端：
- 是為客戶端服務的，像客戶端提供資源，保存客戶端資料，
- 例如：攝像機記錄的視頻，可能多個ap查看，所以需要將視頻保存到一個公共的地方供大家訪問
-
客戶端:
- 也可以稱為用戶端，與服務器相對應，為客戶提供本地服務的程式，
-
流媒體:
- 下面這些都叫流媒體業務
-
轉發：
- 將資料流傳輸到別的網路中
-
存盤：
- 將資料存在本地
-
轉碼：
-
推模式：
- 當通知訊息來之時，把所有相關資訊都通過引數的形式“推給”觀察者，（服務端可客戶端推流，如手機拍了視頻，放到服務端）
-
拉模式：
- 當通知訊息來之時，通知的函式不帶任何相關的資訊，而是要觀察者主動去“拉”資訊，（客戶端直接從某個鏈接讀取資料，如攝像機通過web拉流查看本地視頻）
-
-
音視頻的流概念
-
ES流：
- 原始流，直接從編碼器出來的資料流，
-
PES流:
- ES形成的分組稱為PES分組，是用來傳遞ES的一種資料布局，
-
TS流:
- ES形成的分組稱為TS分組，是用來傳遞ES的種資料布局，
-
rtsp流:
- RTSP(Real Time Streaming Protocol)
- RFC2326，實時流傳輸協議，是TCP/IP協議體系中的一個 應用層協議，(攝像機通過web顯示)
-
rtmp流:
- Real Time Messaging Protocol (實時訊息傳輸協議)，是adobe公司的協議（網路直播）
-
hls流:
- HLS 是Apple的動態碼率自適應技術，主要用于PC和Apple終端的音視 頻服務，包括一個 m3u8索引檔案，TS媒體分片檔案
-
封裝(mux): 復用，按一定格式組織原視音視頻流，加入檔案頭和檔案尾
解封裝(demux): 解復用，按一定格式決議出原始音視頻流
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/264754.html
標籤：其他
上一篇：C#實作表單抖動
下一篇：高斯信道下基帶模型的多用戶BPSK直接序列擴頻系統MATLAB仿真（m序列、Gold序列和正交Gold序列）（代碼見CSDN同名資源，博客中也有代碼）