OpenCV中的影像變換——傅里葉變換

這篇博客將介紹OpenCV中的影像變換，包括用Numpy、OpenCV計算影像的傅里葉變換，以及傅里葉變換的一些應用；

2D Discrete Fourier Transform (DFT)二維離散傅里葉變換
Fast Fourier Transform (FFT) 快速傅里葉變換

傅立葉變換用于分析各種濾波器的頻率特性，對于影像采用二維離散傅立葉變換（DFT）求頻域，一種稱為快速傅立葉變換（FFT）的快速演算法用于DFT的計算，

• OpenCV使用cv2.dft()、cv2.idft() 實作傅里葉變換，效率更高一些（比OpenCV快3倍）
• Numpy使用np.ifft2() 、np.fft.ifftshift() 實作傅里葉變換，使用更友好一些；

1. 效果圖

灰度圖 VS 傅里葉變換效果圖如下：
可以看到白色區域大多在中心，顯示低頻率的內容比較多，

傅里葉變換去掉低頻內容后效果圖如下：

可以看到使用矩形濾波后，效果并不好，有波紋的振鈴效果；用高斯濾波能好點；

傅里葉變換去掉高頻內容后效果圖如下：
洗掉影像中的高頻內容，即將LPF應用于影像，它實際上模糊了影像，

各濾波器是 HPF（High Pass Filter）還是 LPF（Low Pass Filter），一目了然：
拉普拉斯是高頻濾波器；

2. 原理

• DFT的性能優化：在一定的陣列尺寸下，DFT計算的性能較好，當陣列大小為2的冪時，速度最快，大小為2、3和5的乘積的陣列也可以非常有效地處理，

為達到最佳性能，可以通過OpenCV提供的函式cv2.getOptimalDFTSize() 尋找最佳尺寸，
然后將影像填充成最佳性能大小的陣列，對于OpenCV，必須手動填充零，但是對于Numpy，可以指定FFT計算的新大小,會自動填充零，

通過使用最優陣列，基本能提升4倍的效率，而OpenCV本身比Numpy效率快近3倍；

拉普拉斯是高通濾波器（High Pass Filter）

3. 原始碼

3.1 Numpy實作傅里葉變換

# 傅里葉變換

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('ym3.jpg', 0)

# 使用Numpy實作傅里葉變換：fft包
# fft.fft2() 進行頻率變換
# 引數1：輸入影像的灰度圖
# 引數2：>輸入影像 用0填充；  <輸入影像 剪切輸入影像； 不傳遞 回傳輸入影像
f = np.fft.fft2(img)

# 一旦得到結果，零頻率分量（直流分量）將出現在左上角，
# 如果要將其置于中心，則需要使用np.fft.fftshift()將結果在兩個方向上移動，
# 一旦找到了頻率變換，就能找到幅度譜，
fshift = np.fft.fftshift(f)
magnitude_spectrum = 20 * np.log(np.abs(fshift))

plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

# 找到了頻率變換，就可以進行高通濾波和重建影像，也就是求逆DFT
rows, cols = img.shape
crow, ccol = rows // 2, cols // 2
fshift[crow - 30:crow + 30, ccol - 30:ccol + 30] = 0
f_ishift = np.fft.ifftshift(fshift)
img_back = np.fft.ifft2(f_ishift)
img_back = np.abs(img_back)

# 影像漸變章節學習到：高通濾波是一種邊緣檢測操作，這也表明大部分影像資料存在于頻譜的低頻區域，
# 仔細觀察結果可以看到最后一張用JET顏色顯示的影像，有一些瑕疵（它顯示了一些波紋狀的結構，這就是所謂的振鈴效應，）
# 這是由于用矩形視窗mask造成的，掩碼mask被轉換為sinc形狀，從而導致此問題，所以矩形視窗不用于過濾，更好的選擇是高斯mask，）
plt.subplot(131), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(132), plt.imshow(img_back, cmap='gray')
plt.title('Image after HPF'), plt.xticks([]), plt.yticks([])
plt.subplot(133), plt.imshow(img_back)
plt.title('Result in JET'), plt.xticks([]), plt.yticks([])

plt.show()

3.2 OpenCV實作傅里葉變換

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('ym3.jpg', 0)
rows, cols = img.shape
print(rows, cols)

# 計算DFT效率最佳的尺寸
nrows = cv2.getOptimalDFTSize(rows)
ncols = cv2.getOptimalDFTSize(cols)
print(nrows, ncols)

nimg = np.zeros((nrows, ncols))
nimg[:rows, :cols] = img
img = nimg

# OpenCV計算快速傅里葉變換，輸入影像應首先轉換為np.float32，然后使用函式cv2.dft()和cv2.idft()，
# 回傳結果與Numpy相同，但有兩個通道，第一個通道為有結果的實部，第二個通道為有結果的虛部，
dft = cv2.dft(np.float32(img), flags=cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)

magnitude_spectrum = 20 * np.log(cv2.magnitude(dft_shift[:, :, 0], dft_shift[:, :, 1]))

plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

rows, cols = img.shape
crow, ccol = rows // 2, cols // 2

# 首先創建一個mask，中心正方形為1，其他均為0
# 如何洗掉影像中的高頻內容，即我們將LPF應用于影像，它實際上模糊了影像，
# 為此首先創建一個在低頻時具有高值的掩碼，即傳遞LF內容，在HF區域為0，
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow - 30:crow + 30, ccol - 30:ccol + 30] = 1

# 應用掩碼Mask和求逆DTF
fshift = dft_shift * mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:, :, 0], img_back[:, :, 1])

plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(img_back, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

3.3 HPF or LPF？

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 簡單的均值濾波
mean_filter = np.ones((3, 3))

# 構建高斯濾波
x = cv2.getGaussianKernel(5, 10)
gaussian = x * x.T

# 不同的邊緣檢測演算法Scharr-x方向
scharr = np.array([[-3, 0, 3],
                   [-10, 0, 10],
                   [-3, 0, 3]])
# Sobel_x
sobel_x = np.array([[-1, 0, 1],
                    [-2, 0, 2],
                    [-1, 0, 1]])
# Sobel_y
sobel_y = np.array([[-1, -2, -1],
                    [0, 0, 0],
                    [1, 2, 1]])
# 拉普拉斯
laplacian = np.array([[0, 1, 0],
                      [1, -4, 1],
                      [0, 1, 0]])

filters = [mean_filter, gaussian, laplacian, sobel_x, sobel_y, scharr]
filter_name = ['mean_filter', 'gaussian', 'laplacian', 'sobel_x', \
               'sobel_y', 'scharr_x']
fft_filters = [np.fft.fft2(x) for x in filters]
fft_shift = [np.fft.fftshift(y) for y in fft_filters]
mag_spectrum = [np.log(np.abs(z) + 1) for z in fft_shift]

for i in range(6):
    plt.subplot(2, 3, i + 1), plt.imshow(mag_spectrum[i], cmap='gray')
    plt.title(filter_name[i]), plt.xticks([]), plt.yticks([])

plt.show()

參考

• https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_transforms/py_fourier_transform/py_fourier_transform.html#fourier-transform