人臉識別新進(jìn)展：利用算法解決圖像3D建模問(wèn)題

　　在計算機視覺(jué)領(lǐng)域，人臉識別一直以來(lái)都是學(xué)術(shù)界和工業(yè)界的雙重寵兒。學(xué)術(shù)上的熱門(mén)和工業(yè)市場(chǎng)的迫切需求，使得圍繞該方向的核心技術(shù)自深度學(xué)習爆發(fā)以來(lái)，得到了更為迅猛的發(fā)展。

　　得益于深度學(xué)習，當前計算機對人臉屬性的分析判斷在某些(姿態(tài)、光照)限制條件下已經(jīng)媲美甚至超越人類(lèi)，但是如何在非限制條件下，使計算機獲取和人類(lèi)一樣，從姿態(tài)萬(wàn)千的人臉圖像中依然能夠進(jìn)行識別的能力，是一項非常具有挑戰性的工作。

　　今天，地平線(xiàn)《大牛講堂》邀請到美國密歇根州立大學(xué)劉小明教授，他將結合自己近年來(lái)有關(guān)人臉識別的研究成果和發(fā)表在多篇世界頂級期刊(CVPR,TPAMI等)的論文，為大家帶來(lái)分享——2D/3D shape estimation and recognition for large-pose faces。

　　神奇idea:大姿態(tài)下人臉圖像矯正算法

　　人臉矯正是人臉屬性分析中至關(guān)重要的一步，能夠直接影響整體性能的好壞。在深度學(xué)習之前就有許多優(yōu)秀的方法被提出，例如知名度較高的ASM和AAM，這些方法能夠在人臉變化不大的條件下取得比較好的效果，但是對于一些發(fā)生遮擋或者姿態(tài)角度偏大的情況就差強人意了;在深度學(xué)習出來(lái)之后，一些基于深度學(xué)習的方法雖然能夠解決上述部分問(wèn)題，但是對姿態(tài)角度偏大的情況仍然無(wú)能為力。

　　針對上述問(wèn)題，劉小明教授在2016年CVPR的一篇論文中有提出一個(gè)神奇的idea，利用3D人臉可變模型來(lái)解決2D圖像中姿態(tài)角度偏大問(wèn)題，該方法神奇之處在于能夠使3D人臉模型“學(xué)習”2D圖像中人臉在拍照時(shí)候的姿勢狀態(tài)，如下圖左邊的第一步，給神經(jīng)網(wǎng)絡(luò )輸入通用正面人臉模板模型和2D圖像，神經(jīng)網(wǎng)絡(luò )識別獲取圖像中人臉的姿態(tài)角度參數矩陣，利用這些參數就可以使模型“做出”和圖像中人臉同樣的臉部朝向。

　　反過(guò)來(lái)，對改變姿態(tài)之后的3D模型，我們給它“拍個(gè)照”，變成2D圖像，那么3D模型上的關(guān)鍵點(diǎn)通過(guò)“拍照”，就映射到2D圖像上來(lái)了，得到一個(gè)初步的粗定位;此時(shí)，再根據關(guān)鍵點(diǎn)坐標，把原始圖像切片，輸入到另外的網(wǎng)絡(luò )來(lái)調整3D模型的形狀參數，使得模型更加精確的擬合2D圖像，這樣多次迭代之后，關(guān)鍵點(diǎn)便被精確定位出來(lái);該方法開(kāi)創(chuàng )性地利用3D人臉可變模型來(lái)學(xué)習2D圖像，并且通過(guò)級聯(lián)CNN神經(jīng)網(wǎng)絡(luò )回歸來(lái)提高精確度，使得即使大姿態(tài)下，被遮擋的關(guān)鍵點(diǎn)也能被很好的定位出來(lái)。

　　論文參考:Large-pose FaceAlignment via CNN-based Dense 3D Model Fitting

　　一個(gè)經(jīng)典的問(wèn)題：3維人臉重構

　　3維人臉重構在3D動(dòng)畫(huà)、犯罪偵查以及身份識別等領(lǐng)域有著(zhù)廣闊的應用前景，當使用在不固定場(chǎng)景下獲取的人臉圖像來(lái)重構人臉時(shí)，由于光照表情的變化，使得任務(wù)變的非常困難，劉小明教授結合近幾年的研究提出了基于關(guān)鍵點(diǎn)和光照變換的人臉3維重構技術(shù)。

　　該方法首先通過(guò)人臉關(guān)鍵點(diǎn)檢測技術(shù)，將2D圖像中人臉經(jīng)神經(jīng)網(wǎng)絡(luò )映射，使通用人面模型擬合2D圖像，然后利用Lambertian反射模型統一光照，最后通過(guò)3D模型的法向量反復迭代來(lái)重構模型表面。

　　更接近真實(shí)場(chǎng)景：多角度人臉識別技術(shù)

　　隨著(zhù)深度學(xué)習的發(fā)展，很多深度學(xué)習算法在正面臉情況下，對人臉識別的能力已經(jīng)超越了人類(lèi)，但是實(shí)際場(chǎng)景中，很多時(shí)候都是非正面的;基于此，劉小明教授給我們分享了他在人臉識別方面的最新成果——多角度人臉識別技術(shù)。

　　(卡通圖像非實(shí)際效果，僅供參考示意)

　　該技術(shù)包含兩個(gè)核心部分，表示學(xué)習和圖像生成。表示學(xué)習是指在某一個(gè)場(chǎng)景下獲取的多張不同姿態(tài)的圖像，將這些圖像作為輸入，通過(guò)提出的DR-GAN網(wǎng)絡(luò )模型，產(chǎn)生一個(gè)固定長(cháng)度的特征向量，該向量表示的是這個(gè)人的特征，與姿態(tài)光照無(wú)關(guān)，同時(shí)該網(wǎng)絡(luò )還可以根據輸入的Noise/Pose編碼，生成不同姿態(tài)的人臉。

　　劉小明：密歇根州立大學(xué)計算機科學(xué)與工程系助理教授。計算機視覺(jué)、模式識別、生物識別和機器學(xué)習領(lǐng)域專(zhuān)家。曾任ICPR，WACV和CVPR等多個(gè)計算機視覺(jué)及圖像處理國際頂尖會(huì )議領(lǐng)域主席，獲得多項國際學(xué)術(shù)大獎。共發(fā)表或出版100余本學(xué)術(shù)文章，持有22項美國專(zhuān)利。