本文使用較多篇幅,想要徹底弄明白這個問題,故引出其中相關問題進行依次決議,看完肯定可以弄明白這兩者的關系!!!
一,資訊量與資訊熵
當一個事物(宏觀態)有多個可能的情況時(微觀態),這件事情(宏觀態)對于某人(觀察者)而言具體是那種情況(微觀態)的不確定性稱為熵(entropy),而能消除該人對于這件事情(宏觀態)不確定性的事物叫做資訊,獲取資訊=消除熵,
這里引入了一個問題,怎么衡量消除不確定性的大小的呢?
舉一個栗子,小明在做單選題(備選有ABCD)時,完全不知道應該選哪一個,這時候小紅出來告訴小明,A是錯的!這時小綠出來告訴小明正確答案是C,在假設小紅小綠都提供的資訊是正確情況時,且小明完全相信兩人,這時顯然小綠完全消除了小明的不確定性,而小紅只是部分消除了小明的不確定性,我們大致可以判斷,小明提供的資訊明顯比小紅多!!!小綠對于小明正確選出正確答案更重要!!!
但是多多少,重要多少,我們就需要引入一個具體的量,這個量就成為資訊量,
再舉一個栗子:小明小紅都很高,小綠更高,我們對于這種模糊性的詞語(更,很)其實都可以具體的量化,例如小明小紅都很高的,有175!小綠更高,185!這里顯然,我們都默默地在心里給175,185后面加上了一個單位cm,顯然這個cm可以用來衡量高度,而cm的長度,我們時統一度量衡的時候就確定的,
因此這里資訊量的引入也需要一個基本的單位,現代資訊論的奠定人香農(Shannon)給出了資訊的定義,并對資訊進行了資訊量的量化度量,
最簡單的具有不確定性的事情可以說是拋一次硬幣,拋一次硬幣這個事情的情況有兩種,硬幣正面朝上或是反面朝上,并且這兩種情況發生的概率相等,都是50%,對于這個不確定性的事情,現在我們要消除它的不確定性,只需要給出“正面朝上”或是“反面朝上”這一資訊,就能消除它的不確定性,
既然具有最簡單的不確定性的事情是拋一次硬幣,那么現在,我們拿拋一次硬幣這件事情,來衡量其他具有不確定性的事情,同樣的道理,我們拿用來消除拋一次硬幣的不確定性的資訊的資訊量,作為資訊量的基本單位,bit(位元),(或1bit)

現在回到最初第一個小明做選擇題的栗子,小明選ABCD的不確定性=拋兩次硬幣的不確定性,選A,B,C,D的概率均為25%,而拋兩次硬幣出現的結果正正,正反,反正,反反,也均為25%,我們規定前面已經規定,消除拋一次硬幣的不確定性的資訊的資訊量,作為資訊量的基本單位,bit(位元),,因此消除拋兩次硬幣的不確定資訊的資訊量就是2bit,顯然,小綠給小明提供了2bit的資訊!!
同樣的將選項的個數改為8,16…后,條件不變,小綠則分別提供的資訊是3bit,4bit…但是這里顯然都是2m=0,1,2…)消除包含
2
m
{2^m}
2m 次等概率情況事情的不確定性所需要資訊的資訊量為
log
?
2
m
\log_{2}{m}
log2?mbit的資訊量,
當小紫告訴小明,C有1/2的可能是正確的,我們就沒辦法使用
log
?
2
m
\log_{2}{m}
log2?m來計算該資訊的資訊量了,因為其可能的情況非等概率,
于是我們轉換思路 ,我們從小紫的話中的當得知A,B,D均為1/6,C為1/2相比較于1bit是其多少倍呢?
我們知道1%會發送的情況相當于從100個等概率事件中確定實際的情況,p=1/100概率的倒數等于等概率情況的個數,我們從此可以用等概率情況的公式來計算,之后再成以該事件發生的概率,然后四種情況向加就可以得到該資訊的bit數,
1
/
2
×
log
?
2
2
+
1
/
6
×
log
?
2
2
×
3
=
1.79
1/2\times \log_{2}{2} +1/6\times \log _{2}{2}\times 3=1.79
1/2×log2?2+1/6×log2?2×3=1.79

參考于建國博士的 【學習觀10】老師,我沒有傳紙條作弊,我在學習資訊論,【學習觀11】為什么資訊還有單位?如何計算資訊量?,參考知乎文章[資訊論也能如此簡單]------資訊和熵
二,波特率與位元率的區別
1,定義:資訊速率或位元率
在二進制數字通信系統中每秒傳送的二進制符號數可用每秒傳送的最大資訊量來表征,單位為位元/秒(bit/s),稱為資訊傳輸速率,又稱資訊速率或位元率,–(from 《通信原理》- 周炯槃-第五章數字信號的基帶傳輸)
因為前面我們知道,拋一次硬幣的不確定性為1bit,因此在已知為0-1的二進制系統中,消除一個不確定性需要傳輸1bit資訊,因此才有了這樣的定義,在一個二進制系統中,每秒傳輸的二進制符號數(0-1),等于每秒傳輸的最大資訊量(因為01等概率時候,其資訊量是最大的,例如前者ABCD四個選項中,當ABCD正確的概率不等時候,答案是ABCD的熵,或者說該資訊所攜帶的資訊量,為1.79bit,而當其ABCD等概率,答案是ABCD的熵2bit)


2,定義:碼元傳輸速率(波特率,碼元速率,符號速率)
在M進制數字通信系統中每秒傳送的M進制符號數被稱為碼元傳輸速率或者符號速率,單位為Baud,也可用符號/秒表示為symbol/s來表示,

3,波特率與位元率的區別(資訊速率與碼元速率的區別)
在M進制的數字通信系統中,若 M = 2 k M=2^{k} M=2k ,他表示每K個二進制符號與M進制符號之一對應,則M進制符號速率(波特率) R b R_{b} Rb?與二進制資訊傳輸速率(位元率) R s R_{s} Rs?之間的轉換關系為 R s = R b log ? 2 M = R b K B a u d R_{s} =\frac{R_{b}}{\log_{2}{M} } = \frac{R_{b}}{K} Baud Rs?=log2?MRb??=KRb??Baud即為 R b b i t = R s B a u d × log ? 2 M = R s K b i t / s R_{b}bit=R_{s}Baud\times \log_{2}{M}=R_{s}Kbit/s Rb?bit=Rs?Baud×log2?M=Rs?Kbit/s表示每傳輸 R s R_{s} Rs?個M進制符號,等效為每秒傳輸送( R s × log ? 2 M R_{s}\times \log_{2}{M} Rs?×log2?M)個二進制符號,
當波特率為9600時,
若M=2,資料傳輸率為9600bit/s
若M=16,資料傳輸速率為38400kbit/s
這里舉一個栗子:
當M=4,k=2,則有對應的2個二進制表示4一個四進制符號,這里假設對于關系如下
| 四進制 | 二進制 |
|---|---|
| 0 | 00 |
| 1 | 01 |
| 2 | 02 |
| 3 | 03 |
則有傳輸一個四進制的符號資訊量,等于傳輸了兩個二進制符號所攜帶的資訊量,因此當波特率為9600時,若M=4,資料傳輸率為19200bit/s
以上便是波特率與位元率的相關內容,有問題歡迎在評論中指出!
參考《通信原理》- 周炯槃,《N值表示的位元率與波特率間的關系》
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/246526.html
標籤:其他
