一個有效的圖表影像資料提取框架

一、簡要介紹

在本文中，作者通過采用最先進的計算機視覺技術，在資料挖掘系統的資料提取階段，填補了研究的空白，如圖1所示，該階段包含兩個子任務，即繪制元素檢測和資料轉換，為了建立一個魯棒的Box detector，作者綜合比較了不同的基于深度學習的方法，并找到了一種合適的高精度的邊框檢測方法，為了建立魯棒point detector，采用了帶有特征融合模塊的全卷積網路，與傳統方法相比，可以區分近點，該系統可以有效地處理各種圖表資料，而不需要做出啟發式的假設，在資料轉換方面，作者將檢測到的元素轉換為具有語意值的資料，提出了一種網路來測量圖例匹配階段圖例和檢測元素之間的特征相似性，此外，作者還提供了一個關于從資訊圖表中獲取原始表格的baseline，并發現了一些關鍵的因素來提高各個階段的性能，實驗結果證明了該系統的有效性，

二、研究背景

圖表資料是一種重要的資訊傳輸媒介，它能簡潔地分類和整合困難資訊，近年來，越來越多的圖表影像出現在多媒體、科學論文和商業報告中，因此，從圖表影像中自動提取資料的問題已經引起了大量的研究關注，

如圖1所示，圖表資料挖掘系統一般包括以下六個階段：圖表分類、文本檢測和識別、文本角色分類、軸分析、圖例分析和資料提取，在上述所有階段中，資料提取是最關鍵、最困難的部分，其性能取決于定位的質量，在本作業中，作者主要討論了資料提取階段，本階段的目標是檢測地塊區域中的元素，并將它們轉換為具有語意的資料標記，

如圖2所示，該任務有兩個子任務：繪圖元素檢測和資料轉換

作者從目標檢測領域學習方法，建立了一個魯棒的資料提取系統，然而，應該清楚的是，圖表影像與自然影像有明顯的不同，如圖3所示，(a)是來自COCO資料集的影像，(b)是來自合成圖表資料集的影像，首先，與一般物件相比，圖表影像中的元素具有很大范圍的長寬比和大小，圖表影像包含了不同元素的組合，這些元素可以是非常短的，比如數字點，也可以是長的，比如標題，其次，圖表影像對定位精度高度敏感，雖然在0.5到0.7范圍內的IoU值對于一般的目標檢測是可接受的，但對于圖表影像則是不可接受的，如圖3b所示，即使當IoU為0.9時，在條形影像上仍有較小的數值偏差，這顯示了圖表影像對IoU的敏感性，因此，對于圖表資料的提取，檢測系統需要高精度的邊框或點，即具有較高的IoU值，

因此，對于圖表資料的提取，檢測系統需要高精度的邊界邊框或點，即具有較高的IoU值，

目前，最先進的計算機視覺技識訓沒有被圖表挖掘方法完全采用，此外，使用基于深度學習的方法進行圖表挖掘的比較也很少，人們認為，基于深度學習的方法可以避免硬啟發式假設，并且在處理各種真實圖表資料時更穩健，在本研究中，作者使用已發表的真實資料集，試圖填補資料提取階段的這一研究空白，在所提出的框架中，首先檢測到主區域中的元素，基于資料挖掘系統中前幾個階段的軸分析和圖例分析結果，作者將檢測到的元素轉換為具有語意值的資料標記，這項作業的貢獻可以總結如下，(i)為了構建一個魯棒的Box detector，作者綜合比較了不同的基于深度學習的方法，作者主要研究現有的目標檢測方法是否適用于條型元素檢測，特別是，它們應該能夠(1)檢測具有較大長寬比范圍的元素，并能夠(2)定位具有較高IoU值的物件，（ii）為了構建一個魯棒的point detector，作者使用一個帶有特征融合模塊的全卷積網路（FCN）來輸出一個熱圖掩模，它能很好地區分近點，而傳統的方法和基于檢測的方法很容易失敗，（iii）在資料轉換的圖例匹配階段，一個網路被訓練來測量特征相似性，當特征提取階段存在噪聲時，它比基于影像的特征具有魯棒性，最后，作者提供了一個公共資料集的baseline，這可以促進進一步的研究，

三、方法介紹

作者所提出的方法的總體架構如圖4所示，在功能上，該框架由三個組成部分組成：一個預先訓練好的圖表分類模型，用于檢測邊框或點的元素檢測模塊，以及用于確定元素值的資料轉換，在下面的部分中，作者首先介紹box detector和point detector的細節，接下來，作者將提供資料轉換的實作細節，

3.1 Box detector

為了提取不同尺度上的魯棒特征，作者使用了帶有FPN的ResNet-50 ，FPN使用帶有橫向連接的自頂向下體系結構，以融合來自單一尺度輸入的不同解析度的特性，使其能夠檢測具有大高寬比范圍的元素，為了檢測具有高IoU的邊框，作者選擇CascadeR-CNN作為作者的box detector，如圖5(a)所示，box detector有四個階段，一個區域候選網路（RPN），三個用于檢測，第一個檢測階段的采樣遵循Faster R-CNN，在接下來的階段中，通過簡單地使用上one-stage的回歸輸出來實作重新采樣，

3.2  Point detector

點是圖表資料中的另一個常見的圖表元素，如前所述，相應的圖表型別包括散點、線和面，一般來下，點密集分布在地塊區域，資料以（x，y）的格式表示，在這項作業中，作者使用基于分割的方法來檢測點，這可以幫助區分近點，

網路結構

如圖5(b)所示，從主干網路中提取了四級的特征圖，記為，其大小分別為輸入影像的1/16、1/8、1/4和1/2，然后，在上采樣階段，對來自不同深度的特征進行融合，在每個合并階段中，來自最后一個階段的特征映射首先被輸入到上采樣模塊，使其大小增加一倍，然后與當前的特征映射連接起來，接下來，使用由兩個連續的層構建的融合模塊，生成這個合并階段的最終輸出，在最后一個合并階段之后，然后使用由兩個層構建的頭模塊，最后，將特征圖上采樣到原圖大小，

標簽生成

為了訓練FCN網路，作者生成了一個熱圖掩模，二進制映射將輪廓內的所有像素設定為相同的值，但不能反映每個像素之間的關系，與二值分割圖相比，作者為掩模上的這些點繪制高斯熱圖，利用高斯核函式計算了高斯值，如果兩個高斯分布重疊，而一個點有兩個值，作者使用最大值，

其中（x、y）是掩模上的點坐標，（、）是目標點的中心，σ是一個決定大小的高斯核引數，在這里，作者將σ的值設為2，

后處理

在測驗階段，Point detector輸出一個熱圖掩模，作者首先過濾主繪圖區域外的輸出噪聲，然后，作者使用一個高置信度閾值來輸出正區域，通過尋找連接分量的中心，得到最終的點輸出，在連通分量分析程序中，對于較大的連通區域，作者也隨機選擇該區域內的點作為輸出，

3.3 資料變換

在檢測到元素之后，作者需要確定元素的值，在這個階段，目標是將繪圖區域中檢測到的元素轉換為具有語意值的資料標記，如圖6所示，本階段進行了圖例匹配和值計算，

圖例匹配:

根據在資料挖掘系統中從第五階段得到的圖例分析結果，作者可以得到圖例的位置，如果存在圖例，作者需要提取元素和圖例的特征，然后利用l2距離來度量特征的相似性，并將元素劃分為相應的圖例，基于影像的特征，如RGB特征和HSV特征，在檢測結果不夠緊密時不魯棒，因此，作者提出訓練一個特征模型來度量特征相似性，

該網路直接從patch輸入影像x學習映射到嵌入向量，它由多個模塊組成，使用conv-BN-ReLU層構建，最后為每個patch輸入輸出一個128d的嵌入向量，在訓練階段，網路使用三倍的損失進行優化，這種損失的目的是通過一個距離邊際將正對和負對分開，同一集群的嵌入向量應該距離較小，不同的集群應該距離較大，在測驗階段，將裁剪后的圖例補丁和元素補丁輸入到模型中，對于每個元素，在特征維度上距離最小的圖例是對應的類，

數值計算：

根據第四階段得到的軸分析結果，作者可以得到檢測到的勾選點的位置及其對應的語意值，然后，作者分析了相鄰勾選點之間的數值關系，包括線性或指數的情況，最后，作者計算了單位尺度的值，并使用插值方法來確定元素的值，

四、實驗

4.1資料集

本研究中使用了兩組資料集，分別為Synth2020和UB PMC2020，第一個資料集Synth2020，是Synth2019的擴展版本，使用Matplotlib庫創建了多個不同型別的圖表，第二個資料集是來自PubMedCentral的科學出版物中的真實圖表，它具有不同的影像解析度和更多的影像不確定性，作者將ICPR2020官方訓練資料集隨機分為訓練集和驗證集，表1給出了這兩個資料集分割的詳細資訊，

4.2配置細節

在Box detector實驗中，作者選擇條形資料進行訓練，主特征提取器是在ImageNet上預先訓練過的ResNet-50，在回歸階段，作者采用RoIAlign抽樣候選到7x7的固定大小，batch size為8，初始學習率設定為0.01，采用隨機梯度下降（SGD）對模型進行優化，訓練的最大周期為20，在推理階段，利用非最大抑制（NMS）來抑制冗余輸出，

在point detector實驗中，作者選擇散點型資料進行訓練，在訓練階段，作者使用MSE損失來優化網路，采用多種資料增強，包括隨機裁剪、隨機旋轉、隨機翻轉和影像失真，以避免過擬合，作者采用OHEM 策略來學習困難樣本，正樣本和負樣本的比例為1：3，使用Adam優化器對模型進行優化，最大迭代次數為30k，batch size為4，

在資料轉換實驗中，作者訓練模型提取特征進行聚類，訓練的輸入大小為24x24，嵌入維數設定為128，采用Adam優化器對模型進行優化，最大迭代次數為50k，batch size為8，初始學習率設定為0.001，

4.3結果分析

Box detector的評估：

當IoU的值分別設定為0.5、0.7、0.9時，用Score_a和f-measure來評估Box detector的性能，Score_a使用ICPR2020競賽的評價機制，訓練后的模型分別在Synth2020驗證集和UB PMC2020測驗集上進行了測驗，由于Synth2020的測驗集目前不可用，所以作者使用驗證集來測驗Synth2020資料集上的模型性能，

為了進行比較，作者實作了不同的檢測模型，包括one-stage和two-stage的檢測模型，one-stage模型是SSD 和YOLO-v3而two-stage模型是Faster R-CNN，如表2所示，one-stage模型的性能表現最差，多級回歸磁頭有助于獲得較高的精度，此外，附加的FPN結構有效地有助于檢測具有較大高寬比范圍的元素，在Synth2020和UB PMC2020資料集上，具有FPN結構的Cascade R-CNN模型表現最好，因此，對于條形資料檢測，具有多元回歸頭和FPN結構的模型取得了令人印象深刻的性能，

One-stage模型在早期的迭代中輸出了糟糕的結果，同時，NMS不能有效地過濾這些誤差輸出，如圖7(b).所示NMS不能抑制這些輸出，因為這些長矩形之間的離子值單位小于0.5由于這些原因，該模型不能達到全域最優解，

Point detector的評估：

在本節中，將根據競賽中發布的評價機制來評估point detector的性能，訓練后的模型在Synth2020驗證、UB PMC2020驗證和測驗集上進行了測驗，

作者將作者的方法與傳統的影像處理方法，如連接組件分析和基于檢測的方法，該檢測模型是基于faster R-CNN，為了訓練faster R-CNN模型，作者將點（x，y）擴展為一個矩形（x ?r，y ?r，x+r，y +r），其資料格式為（left，top，right，bottom），作者還實作了另一種基于分割的方法Pose ResNet，該方法最初被提出用于pose point檢測，Pose ResNet模型采用了下采樣和上采樣的結構，沒有考慮不同深度的特征融合，

如表3所示，該方法簡單而有效，在三個測驗集上都優于其他方法，如圖8所示，在Synth2020驗證集上，有許多情況下，散點被連接并形成一個更大的連接分量，在UB PMC2020測驗集上，在情節區域有許多噪聲，如文本元素，傳統的影像處理方法不能區分構成較大分量的近點，當點數較大或相鄰點連接時，基于檢測的方法失敗，與Pose ResNet相比，特征融合方法有助于區分相鄰點，如圖8(d).所示該方法能有效地處理這些情況，并準確地定位相鄰點，

資料轉換特征的魯棒性:

作者選擇行型資料來評估資料轉換的性能，資料轉換的性能取決于圖例匹配階段和值計算階段，值計算階段的性能取決于OCR引擎是否能正確識別勾點值，忽略了OCR引擎引起的誤差，作者討論了從訓練網路的圖例匹配階段提取的特征的魯棒性，如表4所示，作者比較了對ground truth和預測結果進行圖例匹配階段時的性能，對于簡短的表示法，這里的s1、s2、s3分別表示平均名稱得分、平均資料序列得分和平均得分，這在評估腳本中宣告，

當使用ground truth作為輸入時，元素的位置是相當準確的，從訓練網路中提取的特征與RGB和HSV特征連接后的特征具有可比性，通過考慮特征的級聯，可以進一步提高性能，當使用預測檢測結果時，元素的位置可能不夠緊湊，這可能會在提取特征時引入噪聲，實驗結果表明，該方法的特征比基于影像的特征更具有魯棒性，

擬建系統的評價結果:

如表5所示，作者提供了作者提出的ICPR2020比賽的系統性能，這可以作為一個baseline，便于進一步的研究，對于簡短的表示法，這里的s0、s1、s2和s3分別表示視覺元素檢測得分、平均名稱得分、平均資料序列得分和平均得分，在本作業中，沒有采用額外的資料或模型集成策略，結果表明，作者的系統在UB PMC2020測驗集上的性能優于Rank1和Rank2的結果，證明了該系統的有效性，

五、總結與討論

在本作業中，作者討論了一個資料挖掘系統中的資料提取階段，為了建立一個可靠的Box detector，作者比較了不同的目標檢測方法，并找到了一個合適的方法來解決表征圖表資料的特殊問題，具有多元回歸頭和FPN結構的模型取得了令人印象深刻的性能，為了建立魯棒的point detector，與基于影像處理的方法和基于檢測的方法相比，該基于分割的方法可以避免困難的啟發式假設，并很好地區分近點，對于資料轉換，作者提出了一種測量特征相似性的網路，它比基于影像的特征更穩健，在實驗中，作者在資料提取的每個階段都進行了實驗，作者找到了提高每個階段效果的關鍵因素，在公共資料集上的整體性能證明了該系統的有效性，由于近年來出現的圖表越來越多，作者相信從圖表資料的自動提取領域將迅速發展，作者希望這項作業能夠提供有用的見解，并為比較提供一個baseline，

標籤：其他

上一篇：Rancher 系列文章-Rancher 升級

下一篇：云原生容器高可用運維能力應用