影像分割

總覽
- 分割方法
基于聚類的影像分割 (Clustering-based Image Segmentation)
- 不同的簇化策略(grouping strategies)
- - 閾值化
  - - 啟發式方法
    - Otsu's method
  - 資料聚類演算法
  - - K-means 聚化演算法
    - - 優點
      - 缺點
    - 均值移動分割 (Mean Shift Segmentation)
    - - 優點
      - 缺點
  - 其他分割方法
  - - 基于區域方法: 拆分和合并(region-based method: split and merge)
    - 基于圖的方法：NCut (Graph-based Method)
    - 影像遮罩 (Image Matting)
語意分割 (Semantic Segmentation)
- 實體分割 (Instance Segmentation)
影像分割后期處理 (Post Processing for Image Segmentation)

總覽

影像分割目的：將屬于同一物件的像素分組到一起，
在這里插入圖片描述
分割被定義為將影像分解為分段(segments)，區域(region)或者物件(object)的程序：

在使用分割輸出的環境中，分割是有意義的，
當應用程式中的興趣部分(segments of interest)已經被分割出來時，程式停止，
區域分割 (region segmentation) vs 語意分割 (segmentic segmentation)，

分段通常是不重疊 (non-overlapping) 的，
分段中的像素: 通常是具有相似的視覺特性(visual properties)，在空間上相連，屬于同一物件，

視覺特性: 可衡量特征，包括像素強度或顏色，邊緣，紋理(texture)，運動，深度，

分割方法

基于輪廓 (contour-based): 也成為基于邊緣，檢測線段之間的邊緣并線段的閉合輪廓(closed contours)，
基于聚類 (clustering-based): 閾值化，將具有相似視覺特性的所有像素組合在一起，
邊緣/輪廓和聚類的結合，
基于深度學習進行分割，

基于聚類的影像分割 (Clustering-based Image Segmentation)

在這里插入圖片描述
將像素分組為K個簇，如：

簇內的像素比與其他簇的像素具有更多相似性，
不考慮空間連通性(spatial connectivity)，

不同的簇化策略(grouping strategies)

閾值化(thresholding): 若特征能被認為是一組獨立的標量，
聚集集群(agglomerative clustering): 從單獨的簇中的每個點開始，在每次迭代中，合并兩個“最近”的簇，
分裂集群(Divisive Clustering): 首先將所有的點分組到一個大的簇中，在每次迭代時，拆分“最大”的簇，

閾值化

下圖左邊影像 250 x 250，由黑色(0)和白色(255)組成，右邊是像素直方圖，可以看到白點和黑點的總數差不多，都在30000以上，
在這里插入圖片描述

如圖 R1~R6 為所選閾值，

閾值的選擇是一個廣泛研究的問題，沒有最佳的解決方案(optimal solution)，基于直方圖的方法(Histogram based approaches): 互動性閾值(Interactive threshold) ，可以通過直觀觀察直方圖確定閾值，當然，我們希望整個程序自動化，因此可以使用啟發式(Heuristic)方法，最小化方法(Minimisation methods): Otsu’s method，

啟發式方法

選擇初始估計的T值 (最大和最小灰度值的中間值)
將像素根據其像素強度分類到強度大于T的簇G1 以及強度小于T的簇G2中，
計算兩個組平均的μ1和μ2，
接著，獲得新的T = 1/2(μ1 + μ2)
如果新的T和舊的T差別還很大，則回傳步驟 2 再次進行，

Otsu’s method

計算歸一化的直方圖
選擇閾值k，將像素點分為C0和C1，μi 指 Ci 的平均值，其中 i = 0, 1，
驗證方法，計算類內方差(within-class variance σ²W)或類間方差(between-class variance σ²B)
從閾值k = 0開始運行到閾值k = 255，選擇能讓類內方差最小以及類間方差最大化的k值，

注：Otsu’s方法僅限于兩個簇或者一個閾值的情況，

資料聚類演算法

K-means 聚化演算法

K-means演算法詳解

K-medoids演算法：與K-mean類似，僅聚類中心無法通過平均來計算，其中，每個簇的“中心”是該簇中位于最中心的點(即與其他點平均距離最小的點)，

在這里插入圖片描述

基于強度或者顏色的K-mean聚類，簇不必在空間上保持連貫 (spatially coherent)，

基于(r, g, b, x, y)值的聚類可以增強空間一致性(spatial coherent)，

優點

簡單又快速，且能夠收斂到誤差函式(error function)的區域最小值，

缺點

需要自行選擇k值，對初始值敏感，對例外值 (outliars) 敏感，且其傾向于找"球形"簇(spherical clusters)，

均值移動分割 (Mean Shift Segmentation)

先進且通用的基于聚類的分割技術，‘
均值移動分割演算法尋求給定分布的密度的眾數(mode)或區域最大值(local maximum)，

選擇搜索視窗 search window (寬度和位置)
計算搜索視窗中資料的平均值，
將搜索視窗居中于新的平均位置 (mean location)，
重復直到收斂，

簇：在模式吸引力盆(attraction basin of a mode)中的所有資料點，
吸引力盆地 (attraction basin)：所有軌跡(trajectories)都通向同一模式的區域