影像分割unet系列------Res-UNet詳解
- 1、Res-UNet要解決的問題
- 2、Res-UNet主要網路結構
- 3、引發的思考
????Res-UNet發表于2018年，是UNet非常重要的改進版本之一，當然，Res-UNet同樣是應用在醫學影像分割領域-----視網膜血管分割，
1、Res-UNet要解決的問題
????作者在文章的簡介中就提到了視網膜血管分割任務的主要難點和挑戰，這也是Res-UNet重點解決的問題，具體如下所示（直接翻譯）：
- 小血管缺失：位于血管末端的小血管有時甚至人眼也難以分辨；
- 視盤區分割結果不理想：通常視盤區域較亮，對比度相對較低，這增加了視網膜血管分割的難度；
- 血管拓撲結構難以維系：視網膜血管有類似樹狀的分叉結構，但當血管太薄而無法檢測到時，這樣的連續的血管結構就很難保持連接（發生斷裂）；
- 光照因素：光照不足或過度曝光，包括相機光源引起的光反射，會降低影像對比度，從而導致視網膜血管邊界不清晰，
????綜上所述，由于視網膜血管本身成像的限制與成像程序中光源等干擾，都會使視網膜血管的對比度降低，進而造成血管資訊丟失或是直接影響血管的拓撲結構，
2、Res-UNet主要網路結構
????從本質上說Res-UNet并不是一個特別難懂的甚至不是特別難以想到的網路結構，在18年之前已經提出了其中經典的Resnet和Attention思想，作者是將這三者做了有機結合，此方法的流程主要所示：
????以上這張圖并不能很好地展現Res-UNet的網路結構，詳細的網路結構如下圖所示：
????注意一點：為了解決眼底影像對比度低的現狀，作者在進行模型訓練以前對影像進行了對比度有限自適應直方圖均衡化(CLAHE)操作，為了增加樣本數量進行了patch操作，這兩個部分的操作其實是值得我們深入思考的，將在下文中提出自己的觀點，
2.1 Attention部分
????Attention部分其實操作也相對簡單，主要是通過提取具有圓形感興趣區域(ROI)和深色背景，然后使用圓形模板ROI mask M作為加權注意，如圖2所示黃色箭頭，利用這種加權注意機制，使模型只關注目標ROI區域，而忽略了不相關的噪聲背景，這個操作實質上就是注意機制是通過將模型的最后一層的特征圖與注意掩模相乘來實作的，ROI mask實際上是將影像進行二值化的程序，
2.2 skip連接部分
????根據Resnet的思想將skip連接添加到網路中（見圖2的灰色實線部分），此操作增加了網路的深度，根據Resnet中的解釋，還可以防止過擬合，提高模型的準確度，
3、引發的思考
3.1 網路結構的思考
????Attention部分祛除了ROI區域以外的噪聲影響，但是使用CLAHE增強后并沒有去除ROI內部的噪聲干擾，但是從文章結果來分析，似乎并沒有造成較大的影響，
????skip連接部分充分說明了Resnet的強大，當然網上有太多的解釋和分析， 本人不在此處細講，
3.2 CLAHE增強與patch操作
????CLAHE增強操作必然會增加影像的噪聲，當然作者應該進行了濾波操作以保障二值化（ROI）的準確性，也保證網路輸入部分影像信號的質量，但是有一個問題值得我們思考，增加噪聲就一定會使網路性能變差嗎？就算是進行濾波或是其他降噪操作，CLAHE增強帶來的噪聲是不會完全消失的，噪聲是不是還會使網路性能產生較好的性能？我在這一刻想到了反向傳播，想到了梯度和激活函式，這是個有趣的點，
????原文中的patch操作是無重疊的，最后再拼在一起，實際上無重疊會造成資訊的丟失，尤其是背景關系資訊的丟失，這在一定程度上會影響血管拓撲結構，這也是一個需要關注的地方，
????總之，以上都是自己的愚見，希望各位大神和朋友們激烈交流和討論，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/293449.html
標籤：其他