背景知識：
Zeroshot Learning，零次學習，
模型 對于 訓練集 中 沒有出現過 的 類別，能自動創造出相應的映射： X→Y，
Low/Few-shot Learning、One-shot Learning，少/一次學習，
訓練集中，每個類別 都有樣本，但都只是 少量樣本 （甚至只有一個），
摘要：
提出了一個Low-Shot Transfer Detector (LSTD)，利用豐富的源領域（Source Domain）知識來構建一個高效的目標域（Target Domain）檢測器（幾乎不需要訓練樣例），
主要貢獻：
- 設計了一個靈活的LSTD深層架構，以緩解Low-Shot檢測中的tranfer困難，同時，該架構結合了SSD和Faster RCNN各自的優勢，
- 其次，提出了一種新的 transfer learning framework，其中包括 Transfer Knowledge (轉移指數 TK）和 Background Depression （背景抑制 BD）正則化方法，可以分別從源域和目標域利用目標知識，加強fine-tune ，
以前的解決方法：
- weakly/semi-supervised. 引入額外的易于注釋的標簽影像，缺點：由于訓練集的缺乏監督，檢測器的效果往往受限， 弱監督：有標簽沒有框；半監督：有標簽，部分有框，
- 對深度模型進行遷移學習，缺點：（1）當目標檢測資料集很小的時候，對目標檢測使用一般的遷移策略是不適用的（例如，簡單的使用預訓練的深度分類模型來初始化深度檢測模型），在很小的資料集上進行微調時，通常很難分辨檢測和分類之間的區別，（2）在遷移學習中，深度檢測模型比深度分類模型更容易出現過擬合，（3）簡單的微調通常會降低可轉移度（經常會忽略源域和目標域都具有的重要的目標知識），
TK和BD的主要作用：
TK：對每一個目標域的 proposal 遷移源域目標標簽知識，使得能夠在目標域中泛化Low-shot Learning，
BD：在目標域圖片的特征圖上加入bounding box knowledge來欄位外監督，使得模型在transferring中能夠抑制背景的干擾，專注于目標，
網路的基本結構：
圖1
First, we design bounding box regression in the fashion of SSD.
利用SSD設計bounding box regression，每一卷積層都有默認的候選框，每一層都用smooth L1來對框的回歸進行訓練，
- 訓練資料：large-scale source domain
- 訓練目的：為了學習尺度的多樣性（少樣本缺少的資訊），避免重新初始化bbox回歸，減少target domain時的fine-tuning負擔
Second, we design object classification in the fashion of Faster RCNN.
用Faster RCNN設計object classification，這里就是將原始Faster RCNN的框的回歸換成了SSD的多尺度框的回歸，原始的RoI層中的特征層用SSD的卷積的中層特征代替，
實作流程如下：
- 根據SSD部分的objects的分數排序，選出region proposals篩選作為RPN的結果
- 使用ROI pooling層的middle-level卷積層，為每個proposal產生固定大小的卷積特征cube
- 不使用原有的faster rcnn的全連接層，而是在ROI pooling layer使用兩個卷積層，用于K+1分類，
優勢：
- 當引數較少時，減少了過擬合，
- 與直接的K+1類分類相比，粗到細分類，減少了遷移學習的訓練難度，
- 相較于背景來說，source 和 target中的物體共享一些相同的特性（例如清晰的邊緣，均勻的質地），
Regularized Transfer Learning for LSTD：
圖2
- train the source-domain LSTD with a large-scale source data set.
- initialize the target-domain LSTD using the pretrained source-domain LSTD.
- use the small-scale target data to fine-tune the target-domain LSTD with the proposed low-shot detection regularization.
具體來說，首先用大量的source data 訓練圖1中的模型，得到pretained source-domain LSTD；然后用該模型初始化 target-domain LSTD；最后用文章提出的正則化方法在target-domain中fine-tune經過初始化的target-domain LSTD，
fine-tune程序中總的損失函式如下：
其中，L_main 指在LSTD中的多個尺度層的回歸損失和微調目標分類的損失(即后面的兩個卷積)，（源域與目標域相關但不同，因為low-shot旨在從少量目標資料中檢測出之前沒有出現過的類別），因此在目標域中需要重新初始化，即源域訓練好的用來當做目標域的初始化，然后來進行微調，
為了進一步在目標域中加強low-shot detection，加入了新的正則項：L_reg，形式如下：
其中，L_BD，L_TK分別為背景抑制和知識遷移正則項，
Background-Depression (BD) Regularization：
由于復雜的背景資訊會影響localization性能，所以在目標域中用object knowledge 設計了BD正則化，具體的，首先從卷積的中間層生成特征立方(candidate boxes) ，然后用groud truth bounding boxes取匹配框，去除掉這個匹配框，僅保留與背景對應的特征區域，即F_BD，最后使用L2正則化懲罰激活的F_BD，從而抑制背景資訊，在僅有的target資料中更關注target的物體資訊，
BD的作用：
Transfer-Knowledge (TK) Regularization：
由于源域與目標域的類別不同，所以在目標域中就要微調，但是如果只用目標域的資料進行微調，就不能充分利用源域的知識，所以提出了TK正則化，它將源域的目標標簽預測作為源知識去正則化目標網路，此處假設的前提是target和source的物體之間有一定的相關性，具體的步驟如下：
- Source-Domain Knowledge：將training圖片分別喂到source-domain LSTD 和target-domain LSTD里面，然后將target-domain的proposals應用于source-domain LSTD的ROI池層，最終從源域目標分類器中生成知識向量：
其中a_s是 pre-softmax activation vector for each object proposal，τ是引數,可以產生soften label和richer label-relation information，
Target-Domian Prediction of Source-Domain Categories：將1中的target-domain LSTD微調成多任務學習框架：通過添加a source-object soften classifier at end of target-domain lSTD，然后對于每一個target proposal，該分類器會產生一個 soften prediction of source object categories:
其中a_pre是 pre-softmax activation for each proposal.
TK Regularization：計算knowledge p_ts of source-domain LSTD and the soften prediction p_pre of target-domain LSTD的交叉熵損失：
整個模型的訓練程序：
參考：
1. http://blog.leanote.com/post/lilac_yue/%5BAAAI2018%5DLSTD
2. https://blog.csdn.net/u011630472/article/details/89216035
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/69677.html
標籤：其他