數字影像處理：使用直方圖統計進行影像增強

一、引言

在《數字影像處理：區域直方圖處理（Local Histogram Processing） https://blog.csdn.net/LaoYuanPython/article/details/120383974》介紹了基于像素的鄰域進行直方圖均衡或直方圖匹配，這種區域直方圖處理方式克服了在前面章節《《數字影像處理》直方圖均衡學習總結+感悟》、《數字影像直方圖匹配或規定化Histogram Matching (Specification)處理》介紹的全域直方圖均衡處理和直方圖匹配的一些問題，但區域直方圖處理除了區域直方圖均衡處理和區域直方圖匹配外，還可以基于影像的統計資訊進行，本文將介紹與此有關的方法，

二、基礎知識

本文需要的數學知識都是來源于概率統計學：

1. 本文閱讀需要《https://blog.csdn.net/LaoYuanPython/article/details/108864527：人工智能數學基礎4：離差、平均差、方差、標準差、協方差、皮爾森相關系數》介紹的平均差、方差、標準差、離差的相關概念；
2. 期望(expectation)是試驗中每次可能結果的概率乘以其結果的總和，它反映隨機變數平均取值的大小，因此期望也就是均值（mean），某個隨機變數X的期望記為E(X)或E[X]，對于有限數字集合，期望就是集合數字的平均值；
3. 矩（moment）是各點對某一固定點A離差冪的平均值，即E=[(X-A))^k]，指數k即距的階數，如果A=0，則是原點矩，如果A=均值，則是中心距，
4. 數學期望是一階原點矩（表示分布重心），方差是二階中心距（表示離散程度），

三、影像中有關的統計資訊

3.1、灰度均值和方差定義

令r表示在區間[0,L-1]上代表灰度值（intensity values）的一個離散隨機變數（discrete random variable），ri表示對于灰度值等于i的灰度值，p（ri）為ri值在影像灰度集合中出現的概率，令m為影像灰度的均值，則可以得到灰度r關于其均值的n階矩（即影像灰度的n階中心距）為：

其中m是r的均值（average intensity，平均灰度），其值等于：

灰度r關于其均值的2階矩為：

由于2階矩為方差，因此式（3.3-19）稱為灰度方差（intensity variance），通常用σ2表示，

灰度的均值用于度量平均灰度，而方差（或標準差（standard deviation），即方差的平方根）是影像對比度的度量，

3.2、灰度均值和方差的另一種計算方式

上面的灰度均值和方差定義時，使用的計算公式其實是基于歸一化直方圖來定義的，實際上數字影像的灰度和方差還可以用另外一種方式計算，即直接從影像的采樣值（sample values）來計算，而不需要計算直方圖，這樣計算的均值稱為采樣均值（sample mean ），方差稱為采樣方差（ sample variance），

采樣均值計算公式如下：

采樣方差計算公式如下：

其中M表示影像像素的行數，N表示影像像素的列數，f(x,y)為對應位置為(x,y)的像素的灰度值，

很容易理解，對于數字影像，式(3.3-20)和式(3.3-18)等價，式(3.3-21)和式(3.3-19)等價，因為直方圖的資料就是由各像素取值的集合生成的，

四、灰度均值和方差在影像增強中的應用

4.1、全域增強和區域增強

影像的全域均值和方差（global mean and variance）是在整幅影像上計算的，用于衡量整幅圖的全面灰度和對比度，并可用于影像的整體灰度和對比度的調整（gross adjustments），

在區域增強（local enhancement）中，區域均值和方差是根據影像中每一像素的鄰域內的影像特征進行改變的基礎，通常情況下這是比全域增強更好的一種方式，

如果將二者的處理的一些資料結合起來使用，則就是基于直方圖統計進行影像增強，

4.2、區域灰度均值和方差

令(x，y)表示給定影像中任意像素的坐標，Sxy表示規定大小的以(x，y)為中心的鄰域(子影像，subimage)，該鄰域中像素的均值由下式給出：

其中，PSxy是區域Sxy中像素的直方圖，該直方圖有L個分量，對應于輸入影像中L個可能的灰度值，然而，許多分量是0，具體取決于Sxy的大小，例如，如果鄰域大小為3x3且L=256，那么該鄰域的直方圖的256個分量中僅1和9之間的分量非零，這些非零值將對應S 中的不同灰度數(在3x3區域中可能的不同灰度的最大數是9，最小數是1)，

類似地，鄰域中像素的方差由下式給出：

和全域均值以及方差類似，區域均值（local mean）是鄰域Sxy中平均灰度的度量，區域方差(local variance，或標準差standard deviation)是鄰域中灰度對比度的度量，

4.3、一個說明問題的案例

下圖圖3.27(a)顯示了一根繞在支架上的鎢絲(filament)的 SEM(scanning electron microscope，掃描電子顯微鏡)影像，影像中央的鎢絲及其支架很清楚并很容易分析，

但在影像a的右部暗側(dark side)，有另一根幾乎不能察覺（imperceptible）到鎢絲的結構，其大小和特征幾乎難以辨認（discernable），

使用全域直方圖均衡增強后得到影像b，可以隱約看到那根隱藏的鎢絲，可見效果還是差強人意，同時原影像中亮區域也變化了，這不是期待的理想結果，

在上圖a這種特殊情況中，需要增強暗色區域、但同時盡可能保留明亮區域不變，因為明亮區域并不需要增強，

通過對比度操作（contrast manipulation）進行區域增強是解決這種影像中包含部分隱含特征（hidden features）問題的理想方法，
圖中c是通過直方圖統計進行影像增強后的結果，可以看到另一個鎢絲的比較明顯的結構，

4.4、直方圖統計進行影像增強處理程序

4.4.1、直方圖統計影像增強區域候選條件

下面介紹的這種方法能分辨暗區域（dark areas）與亮區域（light area）的不同，只增強暗區域而亮區域保持不變，要達到此目標，需要使得挑選的暗區域滿足如下三個條件：

1. 判斷一個區域在點(x，y)是暗還是亮的方法是把區域平均灰度mSxy （Sxy是m的下標，xy是S的下標，下面其他參考類似）與表示全域平均灰度的mG（G是m的下標，下面其他參考類似）進行比較：如果mSxy≤k0*mG，其中k0是一個值小于 1.0的正常數，那么把點(x，y)處的像素為相對全影像屬于相對暗區域的像素，將其考慮為處理的候選點；
2. 由于區域灰度比全域灰度低并不表示該區域細節就一定無法呈現，另外一個關鍵因素是對比度是否足夠，因此要選擇對比度低的區域區域進行增強，所以還需要一種度量方法來確定一個區域的對比度是否可作為增強的候選點，此時可以使用：如果σSxy≤k2*σG （其中σG是全域灰度標準差，σSxy是像素鄰域灰度的區域方差，k2為正常數），則認為在點(x，y)處的像素是要增強的候選點（a candidate for enhancement），如果我們的興趣是增強亮區域，則k2大于1.0，對于暗區增強，則k2小于1.0；
3. 需要限制能夠接受的最低的對比度值（lowest values of contrast），否則該程序會試圖增強標準差為零（老猿注：表明灰度值都等于均值）的恒定區域，因此要求使用某個小于等于k2的常數k1，使得k1*σG≤σSxy（老猿注：即像素鄰域的區域對比度要大于全域對比度的某個比例，該比例由k1指定），這樣就對區域標準差設定了一個較低的限制值，

滿足以上區域增強所有3個條件的一個位于點(x，y)處的像素，可簡單地通過將像素值乘以一個指定常數E來處理，以便相對于影像的其他部分增大(或減小)其灰度值，不滿足增強條件的像素則保持不變，

4.4.2、直方圖統計影像增強變換公式

直方圖統計影像增強方法的變換公式如下：
令f(x，y)表示在影像任意坐標(x，y)處的像素值，而令g(x，y)表示這些坐標處相應的增強的像素值，則對于x=0，1，2，…，M-1，y=0，1，2，…，N-1，有：

其中，如前所述，E，k1，k1和k2是規定的引數，mG是輸人影像的全域均值，σG是輸入影像的標準差，引數mSxy和σSxy分別是區域均值和標準差，按慣例，M和N是影像行和列的維數，

4.4.3、直方圖統計影像增強變換公式引數設定的考量

通常，式(3.3-24)中選擇引數需要做一些試驗，以熟悉一幅給定的影像或一類影像，在這種情況下，常常選擇下列數值：E=4.0，k0=0.4，k1=0.02和k2=0.4，

• 之所以對E選擇相對較低的值4.0，原因在于當E與將被增強區域(暗色區域)中的灰度相乘后，結果仍會趨于灰度級的暗端，從而保持影像的視覺平衡
• 選擇的k0值比全域均值的一半略小，因為觀察一幅影像時，一般情況下需要增強的區域確實比全域平均值的一半還要暗，類似的分析可指導k1和k2值的選擇
• 這些常數的選擇通常并不困難，但這些明確的選擇必須以對具體增強問題的邏輯分析為指導
• 最后，為保留細節和盡量減少計算負擔，區域區域Sxy的大小應盡可能小，因此，我們選擇大小為3x3的小區域

圖3.27（c）顯示了使用上面描述的區域統計方法處理的結果，該影像與圖3.27(a)中的原影像或圖3.27(b)中經直方圖均衡后的結果相比，圖3.27（c）的右邊顯示出了明顯的細節，觀察該例子，暗燈絲中的脊線現在非常清楚，值得注意的是，左側的亮灰度區域被完整地保留了，這是我們的初始目的之一，

五、小結

本文介紹了使用直方圖相關的統計資訊進行影像增強的背景和處理方法，使用直方圖統計進行影像增強通過挑選區域的對比對度相對全域影像低的暗區域，對這些滿足條件的區域區域將其灰度值直接擴大E倍，從而使得整幅影像整體效果沒有大的變化的前提下，增強影像暗區域的細節，

更多直方圖處理相關知識請參考《《數字影像處理》第三章學習總結感悟2：直方圖處理》，

更多影像處理請參考專欄《OpenCV-Python圖形影像處理》及《影像處理基礎知識》的介紹，

對于缺乏Python基礎的同仁，可以通過老猿的免費專欄《 專欄：Python基礎教程目錄》從零開始學習Python，

如對文章內容存在疑問或需要相關資料，可在博客評論區留言，或關注：老猿Python 微信公號發訊息咨詢，可通過掃描博客左邊的二維碼加微信公眾號，

寫博不易，敬請支持：

如果閱讀本文于您有所獲，敬請點贊、評論、收藏，謝謝大家的支持！

關于老猿的付費專欄

1. 付費專欄《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt開發圖形界面Python應用》專門介紹基于Python的PyQt圖形界面開發基礎教程，對應文章目錄為《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt開發圖形界面Python應用專欄目錄》；
2. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音視頻開發專欄 )詳細介紹moviepy音視頻剪輯合成處理的類相關方法及使用相關方法進行相關剪輯合成場景的處理，對應文章目錄為《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音視頻開發專欄文章目錄》；
3. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初學者疑難問題集》為《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python圖形影像處理 》的伴生專欄，是筆者對OpenCV-Python圖形影像處理學習中遇到的一些問題個人感悟的整合，相關資料基本上都是老猿反復研究的成果，有助于OpenCV-Python初學者比較深入地理解OpenCV，對應文章目錄為《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初學者疑難問題集專欄目錄 》
4. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬蟲入門 》站在一個互聯網前端開發小白的角度介紹爬蟲開發應知應會內容，包括爬蟲入門的基礎知識，以及爬取CSDN文章資訊、博主資訊、給文章點贊、評論等實戰內容，

前兩個專欄都適合有一定Python基礎但無相關知識的小白讀者學習，第三個專欄請大家結合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python圖形影像處理 》的學習使用，

對于缺乏Python基礎的同仁，可以通過老猿的免費專欄《https://blog.csdn.net/laoyuanpython/category_9831699.html 專欄：Python基礎教程目錄）從零開始學習Python，

如果有興趣也愿意支持老猿的讀者，歡迎購買付費專欄，

老猿Python，跟老猿學Python！

? ? 前往老猿Python博文目錄 https://blog.csdn.net/LaoYuanPython ?