論文名稱：Examples-Rules Guided Deep Neural Network for Makeup Recommendation
原文地址：Examples-Rules Guided

?本系列歷史文章?

【推薦系統論文精讀系列】(一)–Amazon.com Recommendations
【推薦系統論文精讀系列】(二)–Factorization Machines
【推薦系統論文精讀系列】(三)–Matrix Factorization Techniques For Recommender Systems
【推薦系統論文精讀系列】(四)–Practical Lessons from Predicting Clicks on Ads at Facebook
【推薦系統論文精讀系列】(五)–Neural Collaborative Filtering
【推薦系統論文精讀系列】(六)–Field-aware Factorization Machines for CTR Prediction
【推薦系統論文精讀系列】(七)–AutoRec Autoencoders Meet Collaborative Filtering
【推薦系統論文精讀系列】(八)–Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
【推薦系統論文精讀系列】(九)–Product-based Neural Networks for User Response Prediction
【推薦系統論文精讀系列】(十)–Wide&Deep Learning for Recommender Systems
【推薦系統論文精讀系列】(十一)–DeepFM A Factorization-Machine based Neural Network for CTR Prediction

一、摘要

在本文中，我們考慮了一個全自動補妝推薦系統，并提出了一種新的例子-規則引導的深度神經網路方法，該框架由三個階段組成，首先，將與化妝相關的面部特征進行結構化編碼，其次，這些面部特征被輸入到示例中——規則引導的深度神經推薦模型，該模型將Before-After影像和化妝師知識兩兩結合使用，最后，為了將推薦的妝型可視化，開發了一個自動妝型合成系統，為此，我們采集了一個新的Before-After面部化妝資料庫，并手工標注，通過知識庫系統對化妝師的知識進行建模，該框架的性能是通過廣泛的實驗分析來評估的，實驗驗證了人臉特征的自動分類、統計推薦和感知推薦的有效性以及化妝合成的準確性，明顯優于現有方法，值得注意的是，所提出的框架是一個開創性的全自動化妝推薦系統，據我們所知，

二、介紹

幾千年來，人們一直使用面部化妝來改善或改變自己的容貌，面部化妝可以增加他們的吸引力，消除年齡暗示，讓他們在不同的場合和活動中擁有不同的外表，幾乎每個喜歡化妝的人都要面對的第一個基本問題是:現在最好的化妝風格是什么?事實上，這并不是一個簡單的問題，因為化妝風格非常多樣化，選擇化妝風格后的第二個問題是:我化妝后會是什么樣子?因為相同的妝容在不同的臉上會有不同的觀感，所以很難提前預測，近年來，在機器學習、多媒體和影像分析等領域，對這兩個問題的計算解決受到了越來越多的關注，要向這個方向發展，首先要在網上創建工具來手動對用戶的照片進行虛擬化妝，如TAAZ1和DailyMakever2，最近，一些作品試圖通過推薦和實施化妝風格來實作倍訓，

在本文中，我們旨在通過提出一個全自動的面部化妝推薦和一個高效的合成系統來回答這兩個問題，我們使用了一個深度神經網路模型，由化妝前和化妝后的標簽影像訓練，并利用化妝知識庫系統規則，我們提出的系統基于兩個主要前提:

1)根據面部屬性選擇化妝風格元素

2)化妝專家的知識來源于化妝藝術的一定規律和自己在這個領域的經驗，

該框架首先分析用戶的面部屬性，然后將這些面部屬性的值作為輸入傳遞給基于深度學習的推薦系統，建議的化妝風格將自動合成在用戶的面部影像上，以顯示化妝后的臉看起來如何，圖1展示了我們提出的示例-規則指導的組合推薦框架的總體概況，簡要討論了化妝和符號神經網路的相關作業，

彩妝推薦:

近年來，很少有研究針對面部彩妝風格的建議和實施問題，在(Scherbaum et al. 2011)中，他們收集了56名女性化妝前后的2D影像和3D模型，根據同一位女性面部外觀的差異，他們學會了面部空間和化妝空間之間的映射模型，通過利用特征距離在資料庫中找到與測驗人臉最接近的人臉，并將其專業化妝轉移到測驗人臉上，從而完成化妝建議，資料集中的示例數量很少，而且在不同條件下遷移組成的能力使得該推薦系統的通用性值得懷疑，在(Liu et al. 2013)，美容e-Expert建議系統的化妝和發型，通過學習美貌相關屬性(面部特征)與美貌屬性(化妝風格)之間的關系，構建生成式推薦模型，資料庫中無法獲取化妝前的影像，這使得提取重要的面部特征作為化妝暗示非常困難，比如真實的膚色、眼睛形狀和眼睛顏色，

與規則相結合的神經網路:

將以邏輯規則表示的知識與可用的資料示例相結合用于神經網路的訓練，在幾個領域顯示了有趣的結果，一些作品解決了從定義規則到建模知識和進行推理的神經網路構建問題，如神經符號系統in (Garcez, Broda，和Gabbay 2002)， (Garcez, Lamb，和M. 2009)和CLIPS++ in (Frana, G.，和d 'Avila Garcez 2014)，在(Towell, Shavlik, and Noordewier, 1990)中，他們提出使用領域知識學習神經網路引數，在(Lamb, Borges, and d’avila Garcez, 2007)中使用連接主義認知模型來解決規則的時間同步問題，最近，深度學習在不同應用領域的成功(You et al. 2015)，(Krizhevsky, Sutskever, and Hinton 2012)促使我們重新考慮將深度神經網路與邏輯規則結合在推薦系統中，在(Hu et al. 2016)中，他們提出了一種通用框架，可以從標記的例子和邏輯規則中同時訓練深度神經網路結構，神經符號學習和推理的最新進展、挑戰和深度學習的潛力(d’avila Garcez et al. 2015)進行了綜述，基于深度學習的高性能、化妝前后標記影像的可用性以及我們將化妝專家知識表示為基于規則的系統的能力，我們提出了這個基于Examples-Rules的網路框架，本文的主要貢獻如下:

1)提出了一種新的基于規則的深度神經網路(DNN)補妝推薦方法，其性能優于現有的補妝推薦方法

2)收集并標注了一個新的前后臉譜資料庫，是文獻中最大、最完整的資料庫

3)有效的自動面部化妝合成

三、化妝前后資料集

面部化妝分析與推薦的研究是一個新的方向，之前的少數作品是基于小型收集的資料庫，這些資料庫不能供公眾使用，如在(Scherbaum et al. 2011;Liu et al. 2016)，在我們的資料庫中，有961個不同的女性有兩張圖片，一張是干凈的臉，另一張是經過專業化妝的，女性被劃分為以下四個不同的族群:224個白種人，187個亞洲人，300個非洲人和250個西班牙人，所有照片都在良好的質量，正面臉沒有遮擋，與化妝相關的面部特征的定義和分類如表1所示，此外，通過了解粉底顏色、眼影風格、口紅顏色等每一種化妝元素的價值或類別，就可以準確地描述每一種化妝風格，因此，表2總結了我們系統中考慮的化妝樣式元素以及它們在資料庫中標記的類，表1和表2的內容是通過采訪化妝師精心決定的，該資料集將在發表該作品后供公眾使用，

四、DNN化妝推薦模型

深度學習模型在不同推薦系統中的成功(Van den Oord, Dieleman, and Schrauwen, 2013;Lin等人2015年;Florez 2014)和從不同的知識資源學習DNN引數的靈活性(Lake, Salakhutdinov, and Tenenbaum 2015)促使我們提出了這種構成推薦方法，在本作業中，我們采用多層感知器(Multiple Layer Perceptron)，將接收人臉特征類的輸入層作為輸入向量，L層隱藏全連接層，每層隱藏單元W，以及多個輸出層(每個構成元素一個)，如圖1所示，

模型輸入:

將表1中列出的6個與化妝相關的面部特征自動分類并編碼為特征向量，該特征向量在測驗階段作為輸入輸入到我們提出的深度神經網路推薦模型，在培訓階段，我們將使用資料庫中的可用標簽，人臉檢測，每個人臉特征感興趣的區域，特征選擇和分類是全自動的，將在實驗部分詳細介紹，將每個面部特征的類號編碼為大小為s的特征向量v，將六個特征向量串聯起來，在向量v = {v1，…, v6}，

模型輸出:

Yn:是資料集中對應于xn的化妝樣式標簽;Sn:從基于規則的系統中為xn生成的化妝樣式，該推薦模型的主要創新之處在于:

1)通過實體訓練DNN結構，并以規則為指導

2)多重輸出，推薦每個化妝元素

3)推薦同質化妝風格，

References

Bishop, C. 2006. Pattern Recognition and Machine Learn-ing (Information Science and Statistics).
Bookstein, F. L. 1989. Principal warps: thin-plate splinesand the decomposition of deformations. IEEE Trans. on Patt. Anal. and Mach. Int (PAMI) 11(6).
Chang, C.-C., and Lin, C.-J. 2011. Libsvm: A library for support vector machines. ACM Trans. Intell. Syst. Technol.
Dalal, N., and Triggs, B. 2005. Histograms of oriented gradients for human detection. In IEEE Conference on Computer Vision and Pattern Recognition.
d’Avila Garcez, A. S.; Besold, T. R.; Raedt, L. D.; Fldiak,P.; Hitzler, P.; Icard, T.; Khnberger, K.-U.; Lamb, L. C.; Mi-ikkulainen, R.; and Silver, D. L. 2015. A connectionist cog-nitive model for temporal synchronisation and learning. In AAAI Spring Symposium on Knowledge Representation and Reasoning: Integrating Symbolic and Neural Approaches.

Technical Report.Florez, O. U. 2014. Deep Learning of Semantic Word Representations to Implement a Content-Based Recommender for the RecSys Challenge’14. 199–204.
Frana, M.; G., Z.; and d’Avila Garcez, A. 2014. Fast relational learning using bottom clause propositionalization with artificial neural networks. Machine Learning 94.
Garcez, A. d.; Broda, K. B.; and Gabbay, D. M. 2002.Neural-Symbolic Integration: The Road Ahead. London:Springer London.
Garcez, A. S. d.; Lamb, L. M.; and M., G. D. 2009.Neural-Symbolic Cognitive Learning: Cognitive Technologies. Springer.
amb, L. M.; and M., G. D. 2009.Neural-Symbolic Cognitive Learning: Cognitive Technologies. Springer.
Guo, D., and Sim, T. 2009. Digital face makeup by example. In IEEE Conference on Computer Vision and Pattern Recognition, 73–79.