基于FPGA的改進實時影像增強演算法的設計與實作

當今社會，監控技術應用十分廣泛，但是很多監控設備大都處于戶外作業環境，而外界環境的多變性增加了監控的難度，典型的情況就是天氣因素，比如大霧，陰天等等，這些因素會增加監控的難度，甚至使系統無法正常作業，為了保證監控能夠在各種天氣條件下正常進行，研究影像增強技術具有重大意義，影像增強是一種基本的影像預處理手段，其目的是為了改善影像的質量，針對給定影像的模糊狀況以及它的應用場合，有目的的強調影像的整體或區域特性，提高影像可辨識度，改善人對影像的視覺效果，讓觀察者得到直觀清晰的、適合于分析的依據，使影像更有利于觀察和后期的分析處理，一般通過對影像的某些特征進行強調突出，從而顯示我們有需要的資訊，提高影像的使用價值和應用價值[1]，不過值得注意的是，影像增強并不意味著能增加原始影像的資訊，甚至會損失一些資訊，但影像增強的結果卻能加強對特定資訊的識別能力，使影像中我們感興趣的特征得以加強，

大多數成像系統具有一定的亮度范圍，但實際情況中，由于各種因素的影響，影像常常表現為對比度不強、影像模糊不清，影像細節無法分辨的情況，所以我們需要通過某些演算法來調整對比度，亮度，增大影像的動態范圍，擴展影像對比度，改善影像的視覺效果，并最大程度上突出影像的細節資訊，影像增強技術一般可分為空域演算法和頻域演算法兩類，空域演算法是指直接對影像灰度級做運算，頻域演算法則通過FFT首先將影像變換到頻域，然后在頻域進行處理，對影像的變換系數值進行某種修正，是一種間接增強的演算法[2]，

2.1 點運算影像增強

點運算處理是一種簡單的影像增強演算法處理技術，它通過改變像素點的灰度值來實作影像增強的效果，是影像增強的重要手段之一，通常情況下，點運算可以分為線性點運算和非線性點運算兩類，

線性點運算：輸出灰度級與輸入灰度級呈線性關系，其一般可以用如下的式子表示：

當a =1,b=0時，輸出影像與輸入影像相同，

當a>1時，輸出影像的對比度增強，

當a<1時，輸出影像的對比度減弱，

當a =1,b≠0時，輸出影像的整體像素點灰度級將增大或減小，

非線性運算：輸出灰度級與輸入灰度級呈非線性關系，其分為對數形式和指數形式，其運算式如下：

當原影像的灰度動態范圍較大的使用對數形式，

當需要對影像的高灰度區給予較大的擴展時使用，

點運算處理的最大有點就是處理簡單，即使在硬體上也非常方便的實作，但是其功能有限，無法處理影像的一些細節資訊，

我們將在MATLAB中來實作Retinex演算法，

>首先將圖片型別轉換為double型：

IM=double(image);

>將輸入的影像放在對數域中處理：

I=log(IM+1);

>將增強后的結果影像中的像素點的灰度值都初始化為一個常數：

const=mean2(image);

r(i,j)=const;

>在水平位置上，令h=width/2，計算與之間的相對明暗關系：

relation(i,j)=I(i,j+h)-I(i,j);

r(i,j)=r(i,j)-relation(i,j);

r(i,j+h)=r(i,j+h)+relation(i,j);

>在垂直位置上，令l=height/2，計算與之間的相對明暗關系：

relation(i,j)=I(i+l,j)-I(i,j);

r(i,j)=r(i,j)-relation(i,j);

r(i+l,j)=r(i+l,j)+relation(i,j);

>最后輸出：

mi=min(min(r));

ma=max(max(r));

Channel_out=(r-mi).*255/(ma-mi);

下面我們對多組測驗圖片進行仿真，其結果如下所示：

（c） （d）

（e） （f）

圖1 retinex增強前后的效果對比

圖3.1中a，c，e為增強前的模糊影像，b，d，f為增強后的影像，很明顯，影像得到了增強，很多細節部分能夠看的更加清楚，影像組中比較模糊的影像通過增強演算法之后也變得更加的清晰了，上面的仿真我們只是從定性上分析了影像增強的功能，下面我們將通過結果分析定量上分析影像增強的具體變化，從而深入了解影像retinex增強演算法的功能，

為了更進一步分析影像增強前后的影像變化，我們將對仿真結果進行分析，通常情況下，我們需要分析直方圖，熵值，

·灰度直方圖

任意選取一個圖片，通過其灰度直方圖進行增強分析，如圖2所示，

(a)增強前的影像和影像灰度直方圖

(b)增強后的影像和影像灰度直方圖

圖2灰度直方圖

通過上面的直方圖，我們可以看到增強前，直方圖幾種在100~200的范圍內，而且值的變化比較快，通過增強處理后，直方圖的值范圍變寬，而且變化變得更加的緩慢，這樣從視覺上看影像顯的更加的柔和，

·熵

影像的熵值反映了影像的資訊量，熵越大，資訊量就越大，那么對應的影像的細節越豐富，下面我們對增強前后的影像計算其熵，

我們分別計算三組測驗圖片的熵，其計算結果如表1所示：

表1 影像熵值

通過上表結果可知，通過影像增強之后，影像的熵明顯比增強前大，這說明影像增強對影像的細節有明顯的改善，

4.1 系統總體結構

本系統我們將在Altera公司的FPGA下開發，使用的軟體為QuartusII，系統主要包括串口接收模塊，影像存盤模塊，影像處理模塊和影像輸出模塊，系統的總體結構如下圖所示，

圖3 系統總體結構

其中影像處理模塊包括對數模塊，均值模塊，相關求解模塊，運算結果輸出模塊，本文我們首先將重點介紹影像處理模塊的各個功能，

本系統影像是通過串口輸入到FPGA中的，串口我們采用的是8位串行輸入，即每個串行信號輸入一個像素點，而對于彩色影像，則一個串行信號輸入R，G，B中一個通道的像素資訊，由于FPGA中資源有限，我們不可能像在MATLAB中做大規模的矩陣運算，我們需要修改該演算法，使其以流水線的方式在FPGA中正常運行，通常在FPGA中，我們將采用如下的結構對Retinex演算法進行實作，

圖4 FPGA硬體實作總體結構

從上面的結構，我們可以看到，此系統主要包括對數，自然指數以及亮度估計三個主要模塊，下面我們逐次進行介紹，

本系統考慮到DE2系統資源以及LCD顯示的問題，我們統一使用128*128像素的圖片資源進行設計與實作，圖片像素通過串口進入FPGA，存入SDRAM中，按照地址，存盤是按順序依次排列的，我們在發送影像的時候，按每行一次發送，則在MATLAB中對于某個像素點坐標（i，j），其對應的SDRAM地址為：128i+j-128，比如第2行第3列的像素點，其坐標則為131，這樣我們就可以對影像進行操作了，

我們通過查找表在FPGA中實作對數求解，由于影像的像素值在0~255之間，所以我們將輸入的數值作為地址，而地址中的值儲存對數結果，而對于對數結果的小數部分則通過放大的辦法使其得到整形，然后在最后的運行結果除以對數部分擴大的倍數即可，本系統我們將求對數的值擴大2^9倍，那么其他資料也將擴大2^9倍，擴展后的對數結果其運行位寬為12位，

其仿真波形如圖4所示，

圖4 log仿真結果

如圖4所示，當輸入的是1的時候，其地址為0，其對數值為0，當輸入的值為2，其地址為1，對應的值為0.6931，擴大2^9后值為354.8672，即仿真結果中的355，所以對數結果正確，

然后對自然指數進行查找表設計，由于影像中的像素值最大為255，所以在求指數查找表的時候，其指數最大為log(255)=5.5413，由于在求對數的時候，我們將數值擴到了2^9.即512倍，所以我們對應的指數最大值為5.5413*512=2837，即地址應該從0~2837，

其仿真波形如下圖5所示，

圖5 exp仿真結果

亮度的估計，我們在這里也是采用查表的方式進行解決，主要通過函式的像素值來通過查找表的方法來求得，

圖6 反射G值的仿真結果

由于亮度值比較小，為了防止在FPGA運行中有限字長效應導致截位后變0，所以我們將G擴大了2^16倍，然后最后的運行結果中再移位16即可，

最后我們只要將這三個模塊按照圖4的結構進行頂層模塊的呼叫就可實作影像增強系統，為了更能直觀的看到FPGA設計的結構，我們使用頂層原理圖模式對系統進行設計，頂層系統的基本結構如圖7所示，

圖7 單個通道的影像增強模塊原理圖

其仿真結果如下所示：

圖8單個通道的影像增強模塊仿真圖

至此，我們完成一個通道的影像增強演算法的FPGA實作，只要對該模塊進行三次呼叫，我們就能實作彩色影像R，G，B三個通道的影像增強處理功能，