基于多視圖半監督學習的圖像識別

奚曉鈺，吳 飛，荊曉遠

(南京郵電大學 自動化學院，江蘇 南京 210003)

基于多視圖半監督學習的圖像識別

奚曉鈺，吳 飛，荊曉遠

(南京郵電大學 自動化學院，江蘇 南京 210003)

近年來多視圖學習在各個研究應用領域引起了學者們的廣泛關注。傳統有監督的多視圖學習在學習過程中只是使用了訓練樣本中少數的有標簽樣本，傳統無監督的多視圖學習反之利用了其中大量的無標簽樣本。相比于這兩種方法，多視圖半監督學習方法能夠同時利用訓練集中的有標簽樣本以及無標簽樣本，其學習目的是在多個視圖里面少數有標簽樣本以及大量無標簽樣本的情況下，在改善有監督學習的泛化性能的同時，提高非監督學習的高效性。因此文中主要以半監督學習為研究手段，以多視圖子空間特征抽取為研究目標，實現了其在圖像識別領域的應用。在AR和Oxford Flowers17公共數據庫上進行的實驗，驗證了所提出算法的有效性。

多視圖學習；半監督學習；互補信息；冗余信息

0 引 言

在許多計算機視覺[1]應用中，同一物體可以在不同的角度[2]或者通過不同的傳感器[3]觀察，從而產生多個不同的甚至完全互異的樣本。最近，越來越多的應用需要從視圖間和視圖內[4]兩方面來進行分類。然而，因為來自不同視圖的樣本[5]會依附于完全不同的空間，不能相互比較，所以視圖間和視圖內的共同分類基本上是不能直接進行的。因此，之前大多數處理這個問題的方法都嘗試去學習到一個多視圖能夠共享的公共空間[6]，在這個公共空間里，來自多個視圖的樣本都可以相互比較。

TANG等在多視圖方向提出特征選擇算法(MVFS)[7]，分別獨立地對每個視圖進行特征選擇，并利用譜分析對每個視圖加上約束，使多視圖學習能夠滿足一致性的原則。該算法考慮了各個視圖之間的相互關系，但在去除不同視圖之間的冗余信息方面未加考慮。JING等提出了整體正交彩色圖像識別方法(HOA)[8]，其基于鑒別變換。通過將線性鑒別分析方法[9](LDA)和整體正交分析方法相結合，該方法利用Fisher準則[10]從彩色圖像中分別抽取三種色彩(紅、綠、藍)的判別變換矩陣，并使之滿足相互正交。但該方法也有缺陷，它在選擇正交關系時直接依據固定的正交順序，從而忽略了各個視圖的差異性對最終識別效果的影響。

文中提出了基于多視圖半監督學習(MVSSL)的圖像識別方法，通過利用半監督學習方法[11]得到各個視圖對應的投影矩陣[12]，并使之按最優化的順序進行相互正交。半監督學習方法是目前研究較多的用來解決傳統有監督和無監督方法存在不足的技術。該方法不僅充分利用了多視圖中的有標簽和無標簽樣本，還有效去除了視圖特征之間的冗余信息，從而提高了分類算法的效果。在AR[13]和Oxford Flowers17[14]公共數據庫，通過實驗對該算法的有效性進行驗證。

1 多視圖半監督學習(MVSSL)

為了同時利用有標記和未標記的數據，定義F為預測所有訓練數據的標簽矩陣。

F=[f1,f2,…,fn]T∈Rn×c

(1)

其中，fi∈Rc(1≤i≤n)是第i個樣本的預測標簽。

根據半監督學習的思想，F應同時滿足在訓練數據和圖形模型S中基本真實標簽的平滑性。因此，可以通過最小化以下目標函數獲得F：

(2)

其中，U∈Rn×n為對角矩陣，并稱為決策規則矩陣，其對角元素Uii是根據第i個數據點是否被標記來決定的。

采用廣義的l2,1損耗，基于圖的半監督分類學習框架可以重寫為：

(3)

矩陣M的l2,1范數定義為：‖M‖2,1=

多視圖半監督學習的目標函數可以表示為：

(4)

文中提出一種高效的迭代算法來解決該模型。首先將原始公式轉換為以下可替代的公式：

(5)

2 鑒別特征正交變換

在JING提出的基于鑒別變換，用于識別整體正交彩色圖像的方法HOA的基礎上進行部分改進，對經過上面多視圖半監督學習方法下獲得的投影變換矩陣進行正交變換。

假設三種視圖的樣本數據已經得到，然后加入多視圖半監督鑒別特征正交變換，下面是對多視圖半監督鑒別分析(MVSSDA)方法的具體描述。

2.1 獲得所有視圖的半監督鑒別變換W1,W2,W3

基于上述轉換得到的目標函數，利用迭代方法通過求解式(5)得到變換矩陣Wt，過程如下：

(1)隨機初始化Ft,Wt和bt；

(3)更新Ft,Wt和bt。

分別單獨對每個視圖求出其相應的投影矩陣Wt，然后根據對每個樣本向量在變換矩陣下的投影計算，求出每個視圖分別對應的特征，再根據最近鄰算法(這里使用特征余弦)，分別求出每個視圖對應的識別效果f(Wt)，并從高到低排序為f(W1)>f(W2)>f(W3)。

2.2 更新W2

基于上述轉換得到的目標函數，通過式(6)對W2進行更新。

(6)

2.3 更新W3

基于上述轉換得到的目標函數，有：

(7)

MVSSDA算法描述如下：

步驟1：根據式(5)計算出所有視圖訓練樣本的投影矩陣，根據識別效果，得到W1,W2,W3；

步驟2：根據式(6)更新投影矩陣W2；

步驟3：根據式(7)更新投影矩陣W3；

步驟4：分別對W1,W2,W3進行標準化；

步驟5：利用投影矩陣W1,W2,W3，將各個視圖的所有樣本進行相應的投影，并將得到的每個樣本的多視圖特征融合在一起；

步驟6：用余弦最近鄰距離分類器對所有樣本進行分類。

3 實 驗

為驗證文中提出算法的有效性，將選擇公開人臉數據庫AR和Oxford Flowers17作為實驗數據庫，這兩個數據庫都是模式識別領域驗證算法常用的數據庫。以整體正交變換分析(HOA)、多視圖鑒別分析(MVDA)和多視圖典型相關分析算法(MCCA)為對比方法，比較分類識別的效果。

3.1 數據庫

公共彩色人臉數據庫AR：該數據庫包含102類，其中每一類有26張圖片，為了便于實驗處理，將圖片提前處理成60*60的尺寸?？紤]到數據庫中包含光照、表情、姿勢、位置等多種情況，為了對不同的變化產生識別結果的影響進行有效評價，從102類樣本中每類選擇12個具有代表性的樣本作為訓練集，剩余14個作為測試集。在半監督方法中，訓練樣本中一半為有標記，另一半的標記被隱藏，為無標記。圖1給出包含某類的部分圖片示例。

圖1 AR數據庫的樣本圖像

Oxford Flowers17是一個花的數據庫，包含17種不同的花，每種花有80張圖片。選用其中的40個樣本做訓練集，20個樣本做測試集。在半監督方法中，訓練樣本中一半為有標記，另一半的標記被隱藏，為無標記。并從樣本中提取出顏色、紋理、形狀、HOG、SIFT、HSV等特征作為多個視圖的特征。圖2給出包含幾類的部分圖片示例。

圖2 Oxford Flowers17數據庫的樣本圖像

將MVSSDA算法與HOA、MVDA和MCCA進行對比。為了消除實驗的偶然性，保證實驗結果的準確性，分別在兩個數據庫上均做20次實驗。

3.2 實驗結果與分析

圖3和圖4分別給出了在AR和Oxford Flowers17兩個數據庫上MVSSDA算法和三種對比算法分別隨機運行20次的識別率波動圖。表1給出了這四種方法在兩個庫上對應的平均識別率和方差。

圖3 AR數據庫上的識別率

圖4 Oxford Flowers17數據庫上的識別率

方法識別率(均值和方差)/%AR庫OxfordFlowers17MCCA88.76±8.0583.58±7.27MVDA90.18±6.2885.41±5.30HOA92.19±4.8387.67±4.64MVSSDA93.87±4.2489.48±3.68

從表1可以看出，MVSSDA有更好的分類性能。在公共彩色人臉數據庫AR上，MVSSDA比MCCA、MVDA以及HOA的平均識別率提高了至少5.11%(93.87%-88.76%)；在Oxford Flowers17數據庫上，MVSSDA方法比其他三種方法的平均識別率提高了至少5.90%(89.48%-83.58%)。實驗結果充分證明，MVSSDA算法能夠有效地提高識別率。

4 結束語

結合半監督學習理論，并對各個視圖的投影矩陣進行正交變換，提出一種基于多視圖半監督鑒別分析的圖像識別方法。該方法同時利用訓練集中的有標簽樣本以及無標簽樣本，在多個視圖里改善有監督學習的泛化性能的同時，提高了非監督學習的高效性。同時考慮到通過增加整體變換正交，將多視圖之間的冗余信息去除，從而使得提取出的特征更具鑒別性。實驗結果表明，通過與MCCA、MVDA以及HOA的對比，該方法有效地提高了特征識別率。

[1] 田啟川,張潤生.生物特征識別綜述[J].計算機應用研究,2009,26(12):4401-4406.

[2] 周旭東.基于不同多視圖數據場景的典型相關分析研究和應用[D].南京:南京航空航天大學,2013.

[3] XIONG N,SVENSSON P.Multi-sensor management for information fusion: issues and approaches[J].Information Fusion,2002,3(2):163-186.

[4] JING X Y,HU R,ZHU Y P,et al.Intra-view and inter-view supervised correlation analysis for multi-view feature learning[C]//Twenty-eighth AAAI conference on artificial intelligence.Québec City,Québec,Canada:AAAI Press,2014:1882-1889.

[5] 張建春.基于典型相關分析的多視圖特征提取技術研究[D].南京:南京航空航天大學,2010.

[6] KAN M,SHAN S,ZHANG H,et al.Multi-view discriminant analysis[C]//European conference on computer vision.[s.l.]:[s.n.],2012:808-821.

[7] 蘭 霞.半監督協同訓練算法的研究[D].成都:四川師范大學,2011.

[8] JING X,LIU Q,LAN C,et al.Holistic orthogonal analysis of discriminant transforms for color face recognition[C]//International conference on image processing.[s.l.]:IEEE,2010:3841-3844.

[9] 趙振勇,王保華,王 力,等.人臉圖像的特征提取[J].計算機技術與發展,2007,17(5):221-224.

[10] 聶祥飛.人臉識別綜述[J].重慶三峽學院學報,2009,25(3):14-18.

[11] HU M,YANG Y,ZHANG H,et al.Multi-view semi-supervised learning for web image annotation[C]//Proceedings of the 23rd ACM international conference on multimedia.[s.l.]:ACM,2015:947-950.

[12] 邊肇祺,張學工.模式識別[M].北京:清華大學出版社,1999.

[13] GAO W,CAO B,SHAN S,et al.The CAS-PEAL large-scale Chinese face database and baseline evaluations[J].IEEE Transactions on Systems,Man,and Cybernetics-Part A:Systems and Humans,2008,38(1):149-161.

[14] NILSBACK M E,ZISSERMAN A.A visual vocabulary for flower classification[C]//IEEE computer society conference on computer vision and pattern recognition.[s.l.]:IEEE,2006:1447-1454.

ImageRecognitionBasedonSemi-supervisedLearningofMulti-view

XI Xiao-yu，WU Fei，JING Xiao-yuan

(School of Automation,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

The multi-view learning has been paid extensive attention by researchers in various areas of research and applicaion in recent years.Traditional supervised multi-view learning uses only a small number of labeled samples among the training samples in its learning process,but traditional unsupervised multi-view learning utilizes a large number of unlabeled samples otherwise.Compared with both methods,the multi-view semi-supervised learning method can simultaneously use the labeled and unlabeled samples in the training set.Its objective is to improve the generalization of supervised learning and the efficiency of unsupervised learning when there are a small number of labeled samples and a large number of unlabeled samples in many views.In this paper,taking semi-supervised learning as the research mean and multi-view subspace feature extraction as the research object,its application in image recognition field is realized.Experiments are performed on AR and Oxford Flowers17 public databases to verify the validity of the proposed algorithm.

multi-view learning;semi-supervised learning;complementary information;redundant features

TP301.6

A

1673-629X(2017)12-0048-04

10.3969/j.issn.1673-629X.2017.12.011

2017-01-18

2017-05-19 < class="emphasis_bold">網絡出版時間

時間：2017-09-27

國家自然科學基金資助項目(61272273)

奚曉鈺(1992-)，女，碩士研究生，研究方向為生物特征識別；荊曉遠，教授，博士生導師，研究方向為模式識別、圖像與信號處理、信息安全、機器學習與數據挖掘。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170927.0959.064.html