多任務學習可以運用到許多的場景，
首先，多任務學習可以學到多個任務的共享表示，這個共享表示具有較強的抽象能力，能夠適應多個不同但相關的目標，通常可以使主任務獲取更好的泛化能力，
此外，由于使用了共享表示，多個任務同時經行預測時，減少了資料來源的數量，以及整體模型引數的規模，使預測更加搞效，在多個領域中，可以利用多任務學習來提高效果或者性能，比如垃圾郵件過濾、網頁檢索、自然語言處理、影像識別、語音識別等等，
文章目錄
- ``多任務學習可以運用到許多的場景，``
- 相關任務
- 多任務學習
- 二分類
- 多分類
- 多標簽分類
- 相關關系
相關任務
- 如果兩個任務是處理輸入的相同函式，但是在任務信號中加入獨立的噪聲處理，那么很明顯這個任務就是相關任務，
- 如果兩個任務用于預測同一個個體的屬性的不同方面，那么這些任務比預測不同個體的屬性的不同方面更相關，
- 兩個任務共同訓練時能相互幫助，并不是意味著他們時相關的，例如，通過在后向傳播網路的一個額外輸出中加入噪聲可以提高泛化能力，但是噪聲任務與其他任務不相關，
多任務學習
如下圖所示，展示了4個獨立的神經網路，每個神經網路都是一個針對同樣輸入僅有一個輸出的函式，誤差反向傳播被應用于這些網路來獨立訓練每個網路，由于這些網路相互之間沒有任務連接欸，因此其中一個網路學習到的特征并不能幫助另一個學習網路，這里稱之為任務學習，
下圖展示了以惡搞輸入于上圖中的4個網路一致的單一網路，但該網路由4個輸出，每個輸出對應于上圖的一個任務，
需要注意的是，這些輸出可以連接他們共享的一個隱層的所有神經單元，也由如上圖所示，在共享的一個隱層后形成一個獨立的子網路，訓練不與其他任務共享的引數，這里成為多任務學習，在多任務學習網路中，后向傳播并行的作用于4個輸出，由于4個輸出共享底部的隱層，這些隱層中用于某個任務的特征表示也可以被其他任務利用，促使利用，促使多個任務共同學習，
多個任務并行訓練共享不同任務以學習到的特征表示，是多任務學習的核心思想
二分類
對于二分類是常見的分類問題，比如判斷一張圖片是不是人臉，如下圖所示是一個二分類示例，其中不同的顏色表示不同的類別，中間線對應的線性分類面，
多分類
多分類，是指分類數量大于2的分類問題，例如中文或者英文的OCR問題；在目標檢測中針對每個候選框的分類是多分類問題，在這類問題中，總的標簽數大于2，且每條資料只對應其中一個標簽，比如識別問題，輸入的圖片必須對應于人、車、毛、狗、未知等多個標簽的一個，如下圖
多標簽分類
針對多標簽分類是指輸入源可以含有多個物體，標注的標簽也是有多個如下圖
傳統的多標簽分類問題也有拆分位二分類來解決的，但是在深度學習的今天，全連接后套多個Logistic（資料流）輸出是一種性價比很高的做法，
多任務學習通常包含多個任務，最為典型的是Fast RCNN 同時做softmax分類和bbox的回歸，這是兩個完全不同的任務，如果多任務學習中的每個任務都為二分類問題，那么這種多分類問題就是一種廣義上的多標簽分類問題，
一般來說，多任務學習中不同的任務之間的區別較大，所以往往不共享所有層，比如 Fast RCNN 就是獨立的兩個全連接層，根據任務之間的區別大小，可以決定在不同的層開始分道揚鑣，這種底層共享，高層分開的做法就是遷移學習，
相關關系
二分類、多分類、多標簽分類、多任務分類、多任務學習、遷移學習的相互關系：
- 二分類是N= 2時的多分類
- 多分類時多標簽分類的一種，時對多個相互獨立的標簽經行學習，
- 多標簽時多任務學習的一種，每個任務對應一個標簽，
- 多任務學習時遷移學習的一種，遷移學習中的源領域和目標領域對應多任務學習學習中的不同任務，
希望這篇文章讓你對深度學習或者機器學習更加深入，
謝謝點贊評論！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297672.html
標籤：其他