從最開始接觸fme的時候，我就一直有一個想法，fme能不能和機器學習、深度學習、統計學回歸演算法結合實作大批量資料的智能操作，奈何學識一直有限，到目前都沒實作突破，
但是房地一體確權登記專案的掃描件相對很多不規范資料來說通過提取特征文字實作自動分類歸檔是可以通過用python呼叫谷歌的漢字識別庫pytesseract來實作特征值提取，然后用fme進行資料清洗，最后整理資料輸出成我們想要的檔案檔案結構，
既然大體思路已經定下來了，剩下的就是從各個技術難度逐一突破的問題了，首先python提取圖片的包OpenCV，我們通過這個模塊來實作fme的pythoncaller的對接
設定為截取圖片上半截，可以看到fme成功和對接上了圖片，接下來我們只需要呼叫pytesseract庫來提取里面的文字，然后把提取出來的成果封裝到欄位內
可以看到提取效果并不是很理想，但是核心關鍵的屬性提取出來，給我們做分類是沒有什么問題的，
接下來就是運用大量正則運算式，大量的欄位替換清洗，特征值判斷，來得到我們最終需要的屬性
最終是將這些繁瑣的掃描件成果分類，但是依舊存在少數文字識別錯誤無法提取對應特征值的屬性，這種目前我只有將其單獨標注出來，整理完成后手動修改，我測驗了117條資料，有3條資料無法判讀，
最后我們就只需要整理一下路徑、引數，然后封裝成映射檔案，就可以投入使用了，下面是成果展示：
因為命名要求不同，這邊專案要求沒得權屬來源的戶按名字命名，其他則按照不動產單元號命名，
可以看到判讀失敗的圖片被放在了最下方方便人工處理
總結：谷歌研發文字識別庫pytesseract對文字的識別效率還是太低，但是用于分類還是能滿足專案需求，但是悟空依然覺得這套模板還有很大的進步空間，已經擴展性，或許使用sklearn做SVM監督學習，然后通過大量的資料投放，訓練學習，最終實作0誤差分類，或者用OpenCV和深度學習結合，生成智能識別框，按指定位置提取指定資訊到指定欄位，或許還能實作身份證、戶口簿圖片的資訊提取，雖然現在市面上充斥著大量的這種產品，但是大都是呼叫的開源的識別的庫，錯誤率非常之大，因為訓練出一個合格的識別庫需要花大量的時間精力，同時還得有頂級設備的支持，還好我之前提前購買了3090，希望后面能用他24的顯存來讓這個模板實作突破，需要該模板的小伙伴可以私聊我，關注一手，持續更新各種fme的擴展玩法，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/300170.html
標籤：AI
上一篇：人人都會編程的時代已經到來了？