基于大間隔雙線性分類器進行親子關系驗證*

秦曉倩，譚曉陽，陳松燦

1.南京航空航天大學計算機科學與技術學院，南京2100162.淮陰師范學院城市與環境學院，江蘇淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

?

基于大間隔雙線性分類器進行親子關系驗證*

秦曉倩1,2，譚曉陽1+，陳松燦1

1.南京航空航天大學計算機科學與技術學院，南京210016
2.淮陰師范學院城市與環境學院，江蘇淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant No. 61373060 (國家自然科學基金); the Natural Science Foundation of Jiangsu Province under Grant No. BK2012793 (江蘇省自然科學基金); the Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20123218110033 (高等學校博士學科點專項科研基金); the Natural Science Foundation of the Jiangsu Higher Education Institutions under Grant No. 13KJD520002 (江蘇省屬高校自然科學基金).

Received 2015-05,Accepted 2015-07.

CNKI網絡優先出版: 2015-07-10, http://www.cnki.net/kcms/detail/11.5602.TP.20150710.1711.002.html

摘要：目前機器學習算法已經能夠很好地理解單張人臉圖像，但是探究多個主體之間的關系仍然是計算機視覺領域的一大挑戰。父母-孩子關系是家庭關系的核心部件，研究這一關系對促進人工智能加深對人類社會的理解有重要影響。為此，通過在互聯網上搜索名人及其家人的照片建立了一個目前最大的親子關系圖像數據庫LKFW （labeled KinFace in the wild）。基于大間隔雙線性分類器（large margin bilinear classifier，LMBC）進行親子關系驗證，其中包括從相似性度量、分類器設計這兩個方面來探究孩子和父母之間的空間結構依賴關系。算法借助嵌入核的二次規劃進行求解，在KinFaceW和LKFW親子關系數據庫上都達到了比最好性能更好或相當的性能。

關鍵詞：親子驗證；雙線性分類器；人臉驗證

1　引言

使用人臉圖像進行親子關系驗證是計算機視覺領域近期出現的一個新興而富有挑戰的問題。所謂親子關系指的是父子、父女、母子和母女關系。親子關系驗證的應用包括基于人臉圖像的逃犯身份確認，提高人臉識別的性能[1-2]，社會媒體分析[3]和尋找失蹤兒童[4]等。

對親子關系進行驗證這一問題其實是受計算機視覺領域中一般的人臉驗證任務觸發。最近的研究表明，機器學習算法已經能夠很好地理解單張人臉圖像，在LFW數據庫上，人臉驗證的性能已經達到了比人還要高的99.15%[5]。但是，直接將現有的針對單主體人臉的技術用于處理多實體關系的人臉識別存在很大問題，主要原因是在親子驗證任務中給定的兩張人臉有可能具有不同的性別和年齡，研究人員面對的任務正是要驗證這樣具有不同性別和年齡的主體是否具備父女或者母子關系。

第一個進行親子關系驗證的是Fang等人[6]，他們首先定位到人臉上的關鍵部位，然后抽取出諸如灰度值、皮膚顏色、梯度直方圖等特征，最后使用KNN （K-nearest neighbor）分類器進行人臉圖像對的驗證。

除了使用上述特征進行親子驗證之外，研究者們還使用了各種其他的特征，包括表示眼睛、嘴巴和鼻子等局部塊匹配度的DAISY特征[4]，基于空間金字塔的特征描述子[7]和屬性[8]等。而文獻[9]則借助從LFW中抽取的輔助數據集來構造新的親子關系圖像的特征表達。

文獻[10-11]融合了多種特征表示親子人臉圖像。Xia等人[12-13]使用遷移學習的方法進行親子關系驗證，該方法基礎是，相較于年老父母，孩子更傾向于和年輕父母有更加相似的外觀。基于此觀察，他們利用父母年輕時的圖像作為孩子和年老父母圖像的橋梁。但在實際應用中，獲得父母年輕時的圖像是較為困難的。

最近，Lu等人[14]提出了基于鄰域的度量學習方法（neighborhood repulsed metric learning，NRML），該方法通過學習獲得一個度量，在此度量下那些具有親子關系的圖像被拉近，而那些在鄰域內不具有親子關系的圖像被推遠。

針對親子關系驗證問題，研究者們創建了一些用于評價算法性能的公開數據庫，這些數據庫中的圖像都來自于網絡且包含4種親子關系。目前已知公開的親子數據庫有KinFaceW-I[14]、KinFaceW-II[14]、CornellKin[6]和UB KinFace[13]數據庫，分別有533對、1 000對、150對和90對親子圖像。

本文通過在互聯網上搜索名人及其家人的照片構建一個目前最大的親子關系圖像數據庫LKFW （labeled KinFace in the wild）。使用大間隔雙線性分類器（large margin bilinear classifier，LMBC）進行親子關系驗證。本文方法的主要思想是使用雙線性函數來度量父母和子女的相似度，并將具有親子關系的圖像對和那些沒有親子關系的圖像對盡量分開。算法借助嵌入核的二次規劃進行求解，優勢在于實現起來較為簡單。

2　親子數據庫

目前已經公開的親子數據庫中，KinFaceW-II[14]包含的親子圖像對數最多，但其中每對親子主體對象都來自于同一張圖像，在此數據庫上獲得的模型可能存在一定偏好，因為親子圖像具有相似的光照條件，而非親子圖像的光照條件明顯不同，這將直接影響最終分類器的性能，在后面的實驗中將看到這一點。除此之外，在實際應用中，無法保證要驗證的主體對象來自同一張圖像。

其次，目前所有的對親子數據庫中包含的關系都限定于父子、父女、母子和母女，缺少父母-兒子或父母-女兒這樣的核心家庭結構。而在現實生活中，如在進行失蹤兒童身份確認時往往會有父母雙方的圖像，因此沒有任何理由拒絕考慮這種核心家庭結構關系。

針對上述兩個問題，通過搜索明星、政客等及其父母或孩子的照片創建了一個公開親子數據庫LKFW。和LFW相類似，在圖像收集過程中，對姿態、光照、表情、背景、人種等沒有施加任何約束條件，也沒有限制具有親子關系的主體對象來自于同一張圖像。另外，根據日常生活觀察，孩子在年幼時的面部外觀變化較大，在收集親子圖像時沒有對孩子的年齡情況進行特殊的限定。最終，收集到1 232個人的圖像。

為了進行親子關系驗證，首先使用人臉檢測器在原始圖像上標出人臉并人工標注出人眼的位置。再將圖像規整化為64×64像素的灰度圖。圖1展示了數據庫的收集過程和最終數據庫中包含的圖像對/組示例。圖中F、M、S和D分別表示父親、母親、兒子和女兒。

LKFW數據庫不僅包含對親子關系而且還有父母-孩子的組核心家庭關系，因此該數據庫不僅可以被用來進行對親子關系學習，也可以被用于分析探討組核心家庭關系。表1比較了LKFW數據庫和其他幾個數據庫。

Fig.1 Process of constructing LKFW and some image examples of database圖1　LKFW收集的過程和包含的圖像對/組示例

經統計，本文創建的LKFW數據庫包含的父子、父女、母子和母女關系各有308、272、226和231對。另外，還基于主體對象的人種信息對每種親子關系進行了劃分，圖2展示了LKFW的統計信息。

Table 1 Comparison of LKFW database and other kinship databases表1　LKFW和其他親子數據庫的比較

3　親子驗證模型

一般的人臉識別問題旨在衡量同一個主體的不同圖像之間的相似度。但是親子驗證的研究對象是兩個或多個不同的主體，而這些主體又可能具有不同的性別（如父女關系和母女關系），年齡跨度也較大。為了挖掘出父母和子女之間的空間結構關系，考慮用大間隔雙線性分類器來解決這一問題。方法的核心思想是使用雙線性函數來度量父母和子女的相似性，這樣做的優勢是能充分考查二者的特征空間關系，另外模型能有效地使用嵌入核的二次規劃求解。

3.1大間隔雙線性分類模型

大間隔雙線性分類模型如下所示：

其中，S表示N對親子圖像訓練集；xi, yi∈Rd是第i對親子圖像對中的父母和孩子圖像的列向量特征；zi表示第i對圖像的標號，用1表示(xi, yi)圖像對具有親子關系，用-1表示(xi, yi)圖像對不具有親子關系。需要說明的是，一對親子圖像可能來自不同的圖像，因此一對圖像之間的年齡差距不可能完全真實地代表實際生活中的親子年齡差距，從而假設已知每張圖像在對關系中扮演的角色。

模型的目標是要學習一個轉換矩陣，在此轉換矩陣的作用下，xi, yj(i=j)被判為正類，xi, yj(i≠j)被判為負類。本文的大間隔雙線性分類模型如下：

其中，W是一個d×d的矩陣；C是平衡參數，用以平衡模型在訓練集上的性能和推廣能力；ξi是松弛變量；||·||F表示F范數；dw(xi, yi)用于衡量圖像對(xi, yi)的相似度，具體而言，使用dw(xi, yi)=xiTWyi。

3.2模型的優化求解

本文用二次規劃來求解模型，其基本思想是首先將原問題轉換為對偶問題。

Fig.2 Statistical information of LKFW database圖2　LKFW數據庫的統計信息

式（1）的拉格朗日表達式為：

其中，αi和βi是拉格朗日乘子。在分別對W、b和ξi求導后，獲得：

現在，式（1）的對偶形式為：

式（6）是典型的二次規劃問題，并且通過觀察發現，其中的特征向量都是以內積的形式出現，可以很容易地嵌入核。本文實驗中使用了高斯核。

優化獲得了αi后，使用式（3）計算獲得W，再使用所有對應的αi≠0的訓練樣本來計算b。算法1列出了大間隔雙線性分類器模型的優化求解流程。

算法1大間隔雙線性分類器（LMBC）

輸入：訓練集S={(xi, yi, zi)| i=1, 2,…, N}，平衡參數C，高斯核函數的寬度參數γ。

輸出：轉換矩陣W和偏置b。

步驟1優化式（6）中的二次規劃問題；

步驟2使用式（3）獲得W；

步驟3對所有的對應的αi≠0的訓練樣本，計算bi=xTiWyi

步驟4求bi的均值作為b。

步驟5輸出W和b。

3.3模型的時間復雜度分析

大間隔雙線性分類器模型的求解包括優化式（6）中的二次規劃問題和W、b的計算。二次規劃問題的時間復雜度為O(N3)，計算W和b的時間復雜度為O(N)，因此算法的時間復雜度為O(N3)。

4　實驗

為了分析本文方法的性能，在LKFW和Kin-FaceW上與NRML[14]、PDFL[9]、PDFL+NRML[9]方法進行了對比。下面是詳細的實驗結果。

4.1實驗設置

4.1.1特征表示

共抽取LBP[15]、LE[16]、SIFT[17]和TPLBP[18]4種特征來表示人臉圖像。每種特征的抽取方法和文獻[14]中的相同。

（1）LBP特征

每張人臉被劃分為大小為16×16像素且相互之間沒有重疊像素的4×4個塊，每個塊抽取256維的直方圖特征，因此一共有16個256維的特征向量，每張人臉最終被表示為一個4 096維的特征向量。

（2）LE特征

對人臉中的每個像素抽取它的鄰域像素作為該像素值的特征表示，在實驗中，抽取r×8個像素（r= 1，2）。對所有訓練集上的這些向量，使用K-means將他們劃分為M個原型，每張人臉即可被編碼為一個M維的直方圖特征向量。為了更好地利用空間信息，在每張人臉上構建多層金字塔序列形式的格子，每層將人臉劃分為2L塊，對每層的每塊人臉，抽取其LE特征，最終每張人臉的特征是這些向量的拼接。在實驗中，取M=200，L={0，2，4}，最終每張人臉被表示為4 200維的特征向量。

（3）SIFT特征

每張人臉被劃分為大小為16×16像素且相互之間的重疊像素為8的7×7個塊，每塊抽取128維的SIFT特征，因此每張人臉被表示為6 272維的特征向量。

（4）TPLBP特征

和LBP特征類似，每張人臉被劃分為大小為16×16像素且相互之間沒有重疊像素的4×4個塊。對每個塊中的每個像素，考慮以此像素為中心大小為3×3的塊和環繞在該塊周圍且距其為2個像素的8個塊。從每個塊中抽取出256維的直方圖特征，最終每張人臉表示為一個4 096維的特征向量。

4.1.2參數的設置

高斯核被用來作為對樣本之間的相似性度量，因為這種核比其他的核能獲得更好的性能。為了調節高斯核函數的寬度參數γ和模型中的平衡參數C，在訓練集上使用了四折交叉驗證尋找最優參數。最終，在LKFW數據庫上高斯核函數的寬度參數γ和平衡參數C分別設置為0.02和0.1。在KinFaceW數據庫上γ和C分別為0.01和0.2。NRML方法在LKFW數據庫上的參數設置為，鄰域大小k為5，投影特征維度為30，迭代次數為10。

4.2對親子關系的驗證

4.2.1LKFW數據庫上的實驗結果

為了評價算法在LKFW數據庫上的對親子關系驗證性能，在該庫上設計了一個類似于Kin-FaceW數據庫的驗證協議。將數據庫平均分為5個部分，每個部分包含的親子對數幾乎相同。最終的實驗結果使用五折交叉驗證方法。表2列出了LKFW數據庫的劃分情況。對每折中的人臉圖像，將所有已知的親子對看作正例。負例由那些不具備親子關系的人臉對構成。在實驗中，將每張父或母的人臉圖像隨機地和一張不是其真實孩子的人臉圖像進行配對構造負例，并且限定每張人臉圖像在負例樣本中僅出現一次。

Table 2 Face number index of each fold of LKFW database表2　LKFW數據庫中每折的人臉號索引

表3比較了本文方法和NRML方法在LKFW數據庫上的結果。觀察發現：

（1）本文大間隔雙線性分類器方法比NRML方法要好，這說明通過將具有親子關系的主體對看作正例，將不具有親子關系的主體對看作負例，且用雙線性函數度量二者之間的相似度方法學習一個轉換矩陣是有效的。

（2）4種親子關系的驗證難易程度不同，其中父女關系和母女關系相對較難。在使用NRML方法時，其他3種親子關系中的最低分類精度比父女關系的分類精度分別高3.8%(LBP)、2.7%(LE)、1.8%(SIFT) 和0.4%(TPLBP)。而在使用大間隔雙線性分類器方法時，其他3種親子關系中的最低分類精度比母女關系的分類精度分別高0.9%(LBP)、-5.2%(LE)、0.6% (SIFT)和1.3%(TPLBP)。產生這種現象的原因有可能是女兒在外觀上和父母的相似性變化情況比兒子和父母的相似性變化情況復雜，這和早期的人類學研究成果[19]聲稱的內容相吻合。

4.2.2KinFaceW數據庫上的實驗結果

表4和表5比較了本文大間隔雙線性分類器方法和NRML、PDFL、PDFL+NRML等幾種方法在Kin-FaceW-I和KinFaceW-II上的驗證精度。其中，NRML的驗證精度來自于文獻[14]，PDFL和PDFL+NRML的驗證精度來自于文獻[9]。觀察發現：

Table 3 Correct verification rates of kinship on LKFW database表3　在LKFW數據庫上對親子關系的驗證精度比較　%

Table 4 Correct verification rates of different methods on KinFaceW-I database表4　幾種方法在KinFaceW-I庫上的驗證精度比較　%

Table 5 Correct verification rates of different methods on KinFaceW-II database表5　幾種方法在KinFaceW-II庫上的驗證精度比較　%

（1）在使用相同特征的情況下，本文方法在兩個數據庫上大多能獲得比NRML方法更好的性能，說明了本文方法的有效性，并且本文方法在KinFaceW-I數據庫上獲得了最好的平均性能。而PDFL方法在KinFaceW-II數據庫上獲得了最好的平均性能，原因可能在于其所使用的特征是在借助從LFW數據庫上抽取的輔助數據集構造的，根據以往在LFW人臉驗證的研究工作來看，輔助數據集可以提供一定的判別信息。

（2）幾種方法在KinFaceW-II上的性能要高于在KinFaceW-I上的分類精度。原因有兩個方面：首先，KinFaceW-II中的圖像對都來自于同一張圖像，而KinFaceW-I中的親子對圖像來自于不同的圖像，因此KinFaceW-II中的親子對具有相似的光照條件，驗證難度較小。其次，KinFaceW-II中的圖像對數量比較多，兩個子庫在同樣的特征維度下，KinFaceW-II上訓練獲得的模型更傾向于具備良好的推廣性。

4.3組親子關系的驗證

為了進一步探究孩子和父母雙方的空間結構關系，本文做了另外一組實驗進行組親子關系驗證。組親子關系的驗證目的是驗證給定的3張圖像中的主體對象是否具有父母-孩子關系。將使用LKFW數據庫中包含的302組家庭圖像實現這個目的，下面用LKFW-F來標示這302組圖像子集。

和對親子關系驗證相類似，也設計了一個五折交叉驗證來評價算法的性能。在每折圖像中，考慮所有具有家庭關系的圖像組為正例，負例由每對夫妻和一個不是他們孩子的孩子角色圖像構成。

在組親子關系驗證中，要探究的是3個主體之間的關系，這里采用的解決方案是使用父親-孩子和母親-孩子的相似度均值作為父母-孩子的相似度。最后，再使用線性支持向量機（support vector machine，SVM）作為最終的分類器。對大間隔雙線性分類器，使用同樣的策略。

表6比較了本文方法和NRML在SIFT特征下的組親子關系驗證性能。觀察發現：

Table 6 Correct verification rates of LMBC and NRML on LKFW-F database表6　大間隔雙線性分類器和NRML在LKFW-F子庫上的驗證精度　%

（1）兩種方法都獲得了較好的性能，說明使用父親-孩子和母親-孩子的相似度均值作為父母-孩子的相似度方法的可行性。而本文方法比NRML的均值高2.8%，再一次說明方法的有效性。

（2）兩種方法獲得的父母-女兒的驗證精度都比父母-兒子的精度要低，這與表3和表5的結論相似，但現在的數據庫只有302組家庭圖像，以后可以收集更大的家庭圖像數據庫來探究性別在外觀遺傳表現上的影響。

5　結束語

本文基于大間隔雙線性分類器進行親子關系驗證，實驗表明本文方法能達到較好的驗證性能。親子關系驗證是計算機視覺領域中相對新興的問題，隨著研究的推進，其將會不斷促進人們對人類視覺系統工作原理的理解。

今后的工作包括挖掘和親子關系驗證相關的具有判別性信息的先驗知識，融合多種特征并通過獲取特征之間的互補性判別信息來進一步提高模型的性能。

References:

[1] Wang Gang, Gallagher A, Luo Jiebo, et al. Seeing people in social context: recognizing people and social relationships [C]//LNCS 6315: Proceedings of the 11th European Conference on Computer Vision, Heraklion, Greece, Sep 5-11, 2010. Berlin, Heidelberg: Springer, 2010: 169-182.

[2] Shao Ming, Xia Siyu, Fu Yun. Identity and kinship relations in group pictures[M]//Human-Centered Social Media Analytics. Berlin, Heidelberg: Springer, 2014: 175-190.

[3] Zhou Xiuzhuang, Lu Jiwen, Hu Junlin. et al. Gabor-based gradient orientation pyramid for kinship verification under uncontrolled environments[C]//Proceedings of the 20th ACM International Conference on Multimedia, Nara, Japan, Oct 29-Nov 2, 2012. New York, USA:ACM, 2012: 725-728.

[4] Guo Guodong, Wang Xiaolong. Kinship measurement on salient facial features[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2322-2325.

[5] Sun Yi, Wang Xiaogang, Tang Xiaoou. Deep learning face representation by joint identification-verification[J]. arXiv: 1406.4773, 2014.

[6] Fang Ruogu, Tang K D, Snavely N, et al. Towards computational models of kinship verification[C]//Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, Sep 26- 29, 2010. Piscataway, USA: IEEE, 2010: 1577-1580.

[7] Zhou Xiuzhuang, Hu Junlin, Lu Jiwen, et al. Kinship verification from facial images under uncontrolled conditions [C]//Proceedings of the 19th ACM International Conference on Multimedia, Scottsdale, USA, Nov 28-Dec 1, 2011. New York, USA:ACM, 2011: 953-956.

[8] Xia Siyu, Shao Ming, Fu Yun. Toward kinship verification using visual attributes[C]//Proceedings of the 21st International Conference on Pattern Recognition, Tsukuba, Japan, Nov 11-15, 2012. Piscataway, USA: IEEE, 2012: 549-552.

[9] Yan Haibin, Lu Jiwen, Zhou Xiuzhuang. Prototype-baseddiscriminative feature learning for kinship verification[J]. IEEE Transactions on Cybernetics, 2014, 45(11): 2535-2545.

[10] Yan Haibin, Lu Jiwen, Deng Weihong, et al. Discriminative multi-metric learning for kinship verification[J]. IEEE Transactions on Information Forensics and Security, 2014, 9 (7): 1169-1178.

[11] Hu Junlin, Lu Jiwen, Yuan Junsong, et al. Large margin multimetric learning for face and kinship verification in the wild[C]//LNCS 9005: Proceedings of the 12th Asian Conference on Computer Vision, Singapore, Nov 1-5, 2014: 252-267.

[12] Xia Siyu, Shao Ming, Fu Yun. Kinship verification through transfer learning[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence-Vol 3. Menlo Park, USA:AAAI, 2011: 2539-2544.

[13] Shao Ming, Kit D, Fu Yun. Generalized transfer subspace learning through low-rank constraint[J]. International Journal of Computer Vision, 2014, 109(1/2): 74-93.

[14] Lu Jiwen, Zhou Xiuzhuang, Tan Y-P, et al. Neighborhood repulsed metric learning for kinship verification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 331-345.

[15] Ahonen T, Hadid A. Face description with local binary patterns: application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (12): 2037-2041.

[16] Cao Zhimin, Yin Qi, Tang Xiaoou, et al. Face recognition with learning-based descriptor[C]//Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2010: 2707-2714.

[17] Lowe D. Distinctive image features from scale- invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18] Wolf L, Hassner T, Taigman Y. Descriptor based methods in the wild[C]//Proceedings of the European Conference on Computer Vision Workshop, 2008.

[19] Platek S M, Raines D M, Gallup Jr G G, et al. Reactions to children’s faces: males are more affected by resemblance than females are, and so are their brains[J]. Evolution and Human behavior, 2004, 25(6): 394-405.

QIN Xiaoqian was born in 1980. She is a Ph.D. candidate at Nanjing University of Aeronautics and Astronautics, and a lecturer at Huaiyin Normal University. Her research interests include computer vision and machine learning, etc.秦曉倩（1980—），女，江蘇淮安人，南京航空航天大學博士研究生，淮陰師范學院講師，主要研究領域為計算機視覺，機器學習等。發表學術論文9篇，主持江蘇省屬高校自然科學基金項目等。

TAN Xiaoyang was born in 1971. He received the Ph.D. degree in machine learning from Nanjing University in 2005. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include computer vision and machine learning, etc.

譚曉陽（1971—），男，重慶人，2005年于南京大學獲得博士學位，現為南京航空航天大學教授、博士生導師，CCF高級會員，主要研究領域為計算機視覺，機器學習等。

CHEN Songcan was born in 1961. He received the Ph.D. degree in communication and information systems from Nanjing University of Aeronautics and Astronautics in 1997. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include machine learning and pattern recognition, etc.

陳松燦（1961—），男，浙江寧波人，1997年于南京航空航天大學獲得博士學位，現為南京航空航天大學教授、博士生導師，CCF高級會員，主要研究領域為機器學習，模式識別等。

Kinship Verification Through Large Margin Bilinear Classifier?

QIN Xiaoqian1,2, TAN Xiaoyang1+, CHEN Songcan1
1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
2. School of Urban and Environmental Sciences, Huaiyin Normal University, Huai’an, Jiangsu 223300, China

+ Corresponding author: E-mail: x.tan@nuaa.edu.cn

QIN Xiaoqian, TAN Xiaoyang, CHEN Songcan. Kinship verification through large margin bilinear classifier. Journal of Frontiers of Computer Science and Technology, 2016, 10(4): 524-532.

Abstract:Recent research has demonstrated that machine learning algorithms have understood individual face image fairly well. However, one major challenge in computer vision is to investigate the relationship among multiple visual entities. Indeed parents-child relationship plays a core role in a family and understanding such kind of kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in a human world. To address this issue, this paper collects by far the biggest kinship face database named LKFW (labeled KinFace in the wild) by searching public figures and family photos from the Internet. Then this paper presents a large margin bilinear classifier (LMBC) for kinship verification by effectively exploiting the dependence structure between child and parents in a few aspects: similarity measure and classifier design. In addition, the method can be solved as a quadratic programming problem and kernel is utilized. Extensive experiments on KinFaceW and LKFW kinship databases show that the pro-book=525,ebook=79posed method can obtain better or comparable results.

Key words:kinship verification; bilinear classifier; face verification

文獻標志碼：A

中圖分類號：TP181

doi:10.3778/j.issn.1673-9418.1505063