人工智能在人臉美妝上的應(yīng)用

本文作者朱鵬飛，天津大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室副教授，碩士生導(dǎo)師。分別于2009和2011年在哈爾濱工業(yè)大學(xué)能源科學(xué)與工程學(xué)院獲得學(xué)士和碩士學(xué)位，2015年于香港理工大學(xué)電子計(jì)算學(xué)系獲得博士學(xué)位。目前，在機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺國際頂級(jí)會(huì)議和期刊上發(fā)表論文20余篇，包括AAAI、IJCAI、ICCV、ECCV以及IEEE Transactions on Information Forensics and Security等。

國際人工智能聯(lián)合會(huì)議（ International Joint Conference on Artificial Intelligence，IJCAI ）是聚集人工智能領(lǐng)域研究者和從業(yè)者的盛會(huì)，也是人工智能領(lǐng)域中最主要的學(xué)術(shù)會(huì)議之一。1969年到2015 年，該大會(huì)在每個(gè)奇數(shù)年舉辦，現(xiàn)已舉辦了 24 屆。隨著近幾年來人工智能領(lǐng)域的研究和應(yīng)用的持續(xù)升溫，從 2016 年開始，IJCAI大會(huì)將變成每年舉辦一次的年度盛會(huì)；今年是該大會(huì)第一次在偶數(shù)年舉辦。第 25 屆IJCAI 大會(huì)于 7 月 9 日- 15 日在紐約舉辦。

本屆會(huì)議的舉辦地在繁華喧囂的紐約時(shí)代廣場附近，正映襯了人工智能領(lǐng)域幾年來的火熱氛圍。此次大會(huì)包括7場特邀演講、4場獲獎(jiǎng)演講、551篇同行評(píng)議論文的presentation，41場workshop、37堂tutorial、22個(gè)demo等。深度學(xué)習(xí)成為了IJCAI 2016的關(guān)鍵詞之一，以深度學(xué)習(xí)為主題的論文報(bào)告session共計(jì)有3個(gè)。本期我們從中選擇了兩篇深度學(xué)習(xí)領(lǐng)域的相關(guān)論文進(jìn)行選讀，組織了相關(guān)領(lǐng)域的博士研究生，介紹論文的主要思想，并對(duì)論文的貢獻(xiàn)進(jìn)行點(diǎn)評(píng)。

Makeup Like a Superstar Deep Localized Makeup Transfer Network

在人臉分割的應(yīng)用中，美妝是一個(gè)受眾較廣的問題。給出一張素顏正面照，如果能夠給出其最適合的化妝風(fēng)格并將其渲染到這張素顏臉上，可以讓女孩子們更方便地找到適合的風(fēng)格。中科院信工所劉博士等人的論文所解決的問題就是完成一個(gè)功能更完善的人臉自動(dòng)美妝應(yīng)用，不僅能夠給素顏的圖片上妝，而且可以為用戶推薦最適合的妝容，達(dá)到更高的用戶滿意度。

文章采用端到端的方法完成風(fēng)格推薦、五官提娶妝容遷移這三個(gè)步驟，同時(shí)在損失函數(shù)中還考慮平滑性與臉部對(duì)稱性的約束，最終達(dá)到了state-of-the-art效果，本文方法的整體框架如下：

核心方法：

首先風(fēng)格推薦，是從已上妝人臉數(shù)據(jù)庫中挑選與當(dāng)前素顏人臉最相近的圖片。具體方法是選取與當(dāng)前人臉特征的歐氏距離最小者作為推薦結(jié)果，該特征即網(wǎng)絡(luò)輸出的feature map。

然后是五官提齲五官提取是采用全卷積網(wǎng)絡(luò)做圖像分割實(shí)現(xiàn)face parsing，而已上妝數(shù)據(jù)庫還要多一個(gè)眼影的部分，對(duì)于素顏圖片則沒有眼影部分的問題，因此要根據(jù)眉眼特征點(diǎn)定位給出眼影區(qū)域。由于妝容分割的部分相對(duì)于背景更重要，網(wǎng)絡(luò)輸出loss選擇的是加權(quán)交叉熵，

權(quán)重為使驗(yàn)證集上F1 score最大的權(quán)重值。另一方面，數(shù)據(jù)庫中的臉都為正面，具有對(duì)稱性，因此加上了對(duì)稱性的先驗(yàn)約束，具體方法為在輸出每個(gè)像素點(diǎn)的類別概率預(yù)測值后，將這個(gè)值與它的對(duì)稱點(diǎn)再取均值作為最終輸出：

最后是妝容遷移。本文中的妝容包括粉底（對(duì)應(yīng)面部），唇彩（對(duì)應(yīng)雙唇），眼影（對(duì)應(yīng)雙眼）。眼影的遷移比較特殊，因?yàn)樗皇侵苯痈淖冸p眼的部分，文章針對(duì)此設(shè)計(jì)了一個(gè)loss：

意指給需要的人臉上妝后眼影部分與推薦的帶妝人臉眼影的特征的L2 Norm （該特征為從五官提取部分用到的FCN第一層卷積特征conv1-1）。類似的，對(duì)面部、上唇與下唇的loss：

不同的是它計(jì)算了conv1-1，conv2-1， conv3-1， conv4-1， conv5-1層特征的相似度。最后給出的使這個(gè)loss最小的A（即最終給出的妝后人臉）滿足以下條件：

其中Rl、Rr表示左眼右眼眼影的loss，Rf表示臉部粉底的loss，Rup、Rlow表示上唇下唇唇彩的loss，Rs表示結(jié)構(gòu)的loss（計(jì)算公式與眼影l(fā)oss相同，但Sb、Sr中元素值都為1）。人臉妝容的平滑性可以通過以下公式進(jìn)行進(jìn)一步約束：

本文用end-to-end深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出妝前妝后面部特征部位的對(duì)應(yīng)關(guān)系，并進(jìn)行妝容的遷移，流程較為簡單，在考慮了人臉結(jié)構(gòu)對(duì)稱性和平滑性約束后達(dá)到了理想的效果，部分實(shí)驗(yàn)結(jié)果如下：

Feature Learning based Deep Supervised Hashing with Pairwise Labels

在信息檢索中，哈希學(xué)習(xí)算法將圖像/文本/視頻等復(fù)雜數(shù)據(jù)表示成一串緊致的二值編碼（只由0/1或者±1構(gòu)成的特征向量），從而實(shí)現(xiàn)時(shí)間、空間高效的最近鄰搜索。在哈希學(xué)習(xí)算法中，給定一個(gè)訓(xùn)練集，目標(biāo)是學(xué)到一組映射函數(shù)，使得訓(xùn)練集中的數(shù)據(jù)經(jīng)過映射后，相似的樣本被映射到相似的二值編碼（二值編碼的相似性用Hamming距離度量）。

南京大學(xué)李武軍組的這篇文章中，作者提出了一種使用pairwise label進(jìn)行哈希學(xué)習(xí)的方法。通常的圖像標(biāo)簽指示的可能是圖像中的物體屬于哪個(gè)類別，或者圖像所描繪的場景屬于哪個(gè)類別，而這里的pairwise label則是基于一對(duì)圖像定義的，指示的是這一對(duì)圖像是否相似（通常可以根據(jù)這一對(duì)圖像是否屬于同一類別定義它們是否相似）。具體來說，對(duì)于一個(gè)數(shù)據(jù)庫中的第i，j兩幅圖像，sij=1代表這兩個(gè)圖像相似，sij=0代表這兩個(gè)圖像不相似。

具體到這篇文章，作者使用了上圖所示的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)的輸入為成對(duì)的圖像，以及相應(yīng)的pairwise label。該網(wǎng)絡(luò)結(jié)構(gòu)中包含了共享權(quán)值的兩路子網(wǎng)絡(luò)（這種結(jié)構(gòu)被稱為Siamese Network），每路子網(wǎng)絡(luò)處理一對(duì)圖像中的一張。在網(wǎng)絡(luò)的后端，根據(jù)得到的樣本的二值編碼和pairwise label，作者設(shè)計(jì)了損失函數(shù)來指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練。

具體來說，理想情況下，網(wǎng)絡(luò)前端的輸出應(yīng)該是只由±1構(gòu)成的二值向量，在這種情況下，兩個(gè)樣本的二值編碼向量的內(nèi)積事實(shí)上是等價(jià)于Hamming距離的?；谶@個(gè)事實(shí)，作者提出了如下的損失函數(shù)，希望用樣本二值編碼之間的相似性（內(nèi)積）去擬合pairwise label（logistic regression）：

在實(shí)際中，如果想讓網(wǎng)絡(luò)前端輸出為只由±1構(gòu)成的二值向量，則需要在網(wǎng)絡(luò)中插入量化操作（如sign函數(shù)）。但是，因?yàn)榱炕瘮?shù)在定義域上要么導(dǎo)數(shù)為0，要么不可導(dǎo)，因此在訓(xùn)練網(wǎng)絡(luò)的時(shí)候無法使用基于梯度的算法，因此作者提出將網(wǎng)絡(luò)前端的輸出進(jìn)行松弛，不再要求輸出是二值的，轉(zhuǎn)而通過在損失函數(shù)中增加一個(gè)正則項(xiàng)的方法，對(duì)網(wǎng)絡(luò)輸出進(jìn)行約束：

其中U表示松弛后的“二值編碼”，其余定義與J1相同。

在訓(xùn)練的時(shí)候，J2中的第一項(xiàng)可以直接根據(jù)圖像對(duì)的標(biāo)簽和Ui計(jì)算得到，第二項(xiàng)需要對(duì)Ui進(jìn)行量化得到bi后再計(jì)算。利用上述損失函數(shù)訓(xùn)練好網(wǎng)絡(luò)后，當(dāng)查詢樣本出現(xiàn)時(shí)，只需要將圖像通過網(wǎng)絡(luò)，并對(duì)最后一個(gè)全連接層的輸出進(jìn)行量化，即可得到樣本的二值編碼。

本文中的部分實(shí)驗(yàn)結(jié)果如下，文章提出的方法取得了state-of-the-art的性能，即使和使用了CNN特征作為輸入的一些非深度哈希方法相比，在性能上也有比較顯著的優(yōu)勢：

總體來說，本文提出的方法通過聯(lián)合學(xué)習(xí)圖像特征和哈希函數(shù)，在圖像檢索任務(wù)上取得了顯著的性能提升。但是由于文中使用的pairwise label在描述一對(duì)樣本的時(shí)候只有相似、不相似兩種可能，相對(duì)比較粗糙，因此不可避免地限制了本文方法的適用場合。作者在后續(xù)的工作中可能會(huì)考慮使用更加靈活的監(jiān)督信息形式來擴(kuò)展方法的通用性。

參與人員：

胡藍(lán)青中科院計(jì)算所VIPL研究組博士研究生

尹肖貽中科院計(jì)算所VIPL研究組博士研究生

劉昊淼中科院計(jì)算所VIPL研究組博士研究生

劉 昕中科院計(jì)算所VIPL研究組博士研究生