cv::Mat轉換為QImage錯誤
- 使用OpenCV的cv::Mat類轉換Qt的QImage發生錯誤(解決方法在最后)
- 出現Bug
- 原因:Mat不提供4位元組對齊
- 錯誤分析:
- 為什么會出現記憶體訪問錯誤?
- 為什么錯誤在quint24
- 為什么其他專案不出現錯誤?
- 為什么錯誤不在QImage建構式上?
- 解決方法
- 方法1.
- 方法2.
- 方法3
- 方法4
- 總結
使用OpenCV的cv::Mat類轉換Qt的QImage發生錯誤(解決方法在最后)
在學習Qt和OpencCV時遇到一個嚴重的BUG,Qt和OpenCV的細節就不多贅述了,網路上MatToQImage主要有兩種方法
1.手擼for回圈遍歷Mat構造QImage
2.使用QImage的建構式
QImage::QImage(uchar *data, int width, int height, QImage::Format format, QImageCleanupFunction cleanupFunction = nullptr, void *cleanupInfo = nullptr)
出于 偷懶 代碼復用和精簡的目的使用第二種方法,對于常用的24位深RGB圖片使用以下方法
qImg= QImage(img.data,img.cols,img.rows,QImage::Format_BGR888);
其中qImg是QImage型別,img是cv::Mat型別,使用Format_BGR888因為cv::Mat內部使用BGR色彩空間,
出現Bug
在使用程序中使用一度十分快樂,但是其中一個專案使用這個陳述句出現了嚴重BUG
可以看出是很棘手的記憶體訪問BUG,從右側的呼叫堆疊也看不出所以然,甚至BUG在程式的哪一行都不知道,后經過不停的設定斷點和逐行除錯鎖定了BUG,在一行顯示圖片的代碼上
ui.label->setPixmap(QPixmap::fromImage(qImg));
其他專案使用相同的代碼沒有出現這個BUG,BUG出現的也很詭異:
1.使用其他圖片就沒有BUG,
2.有時候除錯不出現BUG,但顯示的圖片是錯誤的顏色條的雪花,
3.將這行代碼刪去會在其他地方出現BUG,
原因:Mat不提供4位元組對齊
在多天不斷除錯和查閱資料和修改代碼后得出結論:cv::Mat不提供4位元組對齊,
在Qt官方檔案有如下
QImage::QImage(const uchar *data, int width, int height, QImage::Format format, QImageCleanupFunction cleanupFunction = nullptr, void *cleanupInfo = nullptr)
Constructs an image with the given width, height and format, that uses an existing read-only memory buffer, data. The width and height must be specified in pixels, data must be 32-bit aligned, and each scanline of data in the image must also be 32-bit aligned.
The buffer must remain valid throughout the life of the QImage and all copies that have not been modified or otherwise detached from the original buffer. The image does not delete the buffer at destruction. You can provide a function pointer cleanupFunction along with an extra pointer cleanupInfo that will be called when the last copy is destroyed.
If format is an indexed color format, the image color table is initially empty and must be sufficiently expanded with setColorCount() or setColorTable() before the image is used.
Unlike the similar QImage constructor that takes a non-const data buffer, this version will never alter the contents of the buffer. For example, calling QImage::bits() will return a deep copy of the image, rather than the buffer passed to the constructor. This allows for the efficiency of constructing a QImage from raw data, without the possibility of the raw data being changed.
微軟翻譯:
構建具有給定寬度、高度和格式的影像,該影像使用現有的記憶體緩沖器、資料,寬度和高度必須以像素表示,資料必須是 32 位對齊,影像中每個資料掃描線也必須是 32 位對齊,
緩沖器必須在 Q 影像的整個生命以及所有未修改或其他副本的整個生命期間保持有效
脫離原來的緩沖,影像不會在銷毀時洗掉緩沖,您可以提供功能指點器清理功能以及額外的指點器清理資訊,當最后一個副本被銷毀時,這些資訊將被呼叫,
如果格式是索引顏色格式,則影像顏色表最初是空的,在使用影像之前,必須用設定顏色計數 () 或設定彩色表 () 進行充分擴展,
重點來說構建Qimage的資料每一行都要32位即4位元組對齊,如何判斷Mat是否對齊?可以使用Mat::isContinuous(),查閱資料:如果矩陣元素每行末尾都是連續存盤而沒有空隙,回傳true,否則為false,我使用的影像是1015x745的圖片如下圖:

由于這是三通道圖片,呼叫Mat::isContinuous(),結果為turn, 顯然1015*3位元組的行寬而且每一行連續,沒有padding,不是4位元組對齊的,
錯誤分析:
代碼如下:
QString imgName = R"(C:\Users\ASUS\OneDrive\document\Resources\fruit.jpeg)";
img = cv::imread(imgName.toStdString());
qImg= QImage(img.data,img.cols, img.rows, QImage::Format_BGR888);
imgShow();
為什么會出現記憶體訪問錯誤?
由于Qimage對于提供的uchar指標要求每一行都位元組對齊(一行只是形象的說法,它在記憶體中是連續的),由于圖片寬1015像素,一行一共3045位元組,如果要對齊需要每行補充3位元組,Qimage將Mat::data提供的指標視為已經位元組對齊,每一行讀取3048位元組,讀取到最后超出了Mat申請的記憶體空間,所以出現記憶體訪問錯誤,即使后面的空間其他程式沒有使用,除了第一行之外的像素行都會不正確,出現顏色條和雪花,
為什么錯誤在quint24
quint定義如下
struct quint24 {
quint24() = default;
quint24(uint value)
{
data[0] = uchar(value >> 16);
data[1] = uchar(value >> 8);
data[2] = uchar(value);
}
operator uint() const
{
return data[2] | (data[1] << 8) | (data[0] << 16);
}
uchar data[3];
};
quint24的本質是長度為3的uchar陣列,推測在QImage內部將每一個像素的指標賦值給quint24中的data成員,然后再逐個訪問每個通道的值
為什么其他專案不出現錯誤?
其他專案使用的圖片寬度恰好都是4位元組的整數倍,網路上很多圖片的尺寸都是規范寬度:1920,1680,1600,1440,1024,800等等,這些都是4的倍數,也是顯示幕的標準尺寸,4位元組對齊的尺寸計算機運行效率更高,這導致這個BUG出現的概率很小
為什么錯誤不在QImage建構式上?
根據前面的檔案翻譯
緩沖器必須在 Qimage的整個生命以及所有未修改或其他副本的整個生命期間保持有效
可知,QImage的這個建構式使用淺拷貝,不訪問資料,而QImage的拷貝建構式的檔案說明
QImage &QImage::operator=(const QImage &image)
Assigns a shallow copy of the given image to this image and returns a reference to this image.
將給定影像的淺副本分配給此影像,并回傳此影像的參考,
所以錯誤的QImage影像在構造和拷貝程序中都不會真正的訪問指標中的資料,直到真正使用QImage的時候才出現錯誤,即使把出現錯誤位置的代碼刪去也會在其他地方出現錯誤,
解決方法
找到問題就好解決了:
方法1.
修改圖片尺寸使其行寬恰好4的倍數,如cv::resize(img, img, cv::Size(1000,1000/img.cols*img.rows));或者直接修改影像檔案本身,
方法2.
使用另一個建構式QImage::QImage(uchar *data, int width, int height, qsizetype bytesPerLine, QImage::Format format, QImageCleanupFunction cleanupFunction = nullptr, void *cleanupInfo = nullptr)
qImg= QImage(img.data,img.cols, img.rows,img.cols*3, QImage::Format_BGR888);
它需要你提供每一行的位元組數而不要求對齊,為什么網上的轉換方法不使用這個?也許大家使用的圖片大小都是符號規范的,
方法3
手擼一個構造對齊后陣列的方法,
int colum4 = (img.cols * 3 + 3) / 4 * 4;//cloum4指對齊后的每行位元組數
uchar* Array = new uchar[colum4 * img.rows];//申請一個能容量下對齊后矩陣的陣列
for (size_t i = 0; i < img.rows; i++)
{
std::copy(img.data + i * img.cols * 3, img.data + (i + 1) * img.cols * 3, Array + colum4 * i);//將img每一行復制到Array的開頭,如果不熟悉copy語法的同學需要復習
}
qImg= QImage(Array,img.cols, img.rows, QImage::Format_BGR888);
重點在于Array需要最后釋放,如果不知道什么時候釋放可以看Qimage建構式的后兩個引數
QImageCleanupFunction cleanupFunction = nullptr, void *cleanupInfo = nullptr
QImageCleanupFunction 是一個函式指標型別,由檔案可知該型別函式接受void*型別回傳void,即接受任意型別的指標并且呼叫,雖然本人沒有嘗試,但有足夠的理由可以猜測,,當所有的Qimage共享記憶體的副本都析構了QImage將會呼叫cleanupFunction (cleanupInfo ),可以自己寫一個函式來最終釋放記憶體,
方法4
當然是寫一個直接從Mat到QImage一個個像素復制的函式,網上有很多就不贅述了,
總結
方法2最為簡單,不過方法3可以很好的證明前面的結論,看起來一個非常小的BUG卻用了好幾天確定問題并論證解決,
以上方法可能只適用于24位三通道的影像,其他格式影像同理易解決,不過推測四通道影像應該不會出現這個問題,
環境debug,Visual studio2019,Qt6.0.2,opencv使用opencv_world453d.lib,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/297391.html
標籤:其他
