生成對抗網絡圖像類別標簽跨模態識別系統設計

劉尚爭 劉斌

摘? 要： 針對傳統圖像類別標簽識別系統只能單一模態識別圖像類別標簽的問題，設計一種生成對抗網絡圖像類別標簽跨模態識別系統。將待識別圖像輸入系統跨模態多標簽標定模塊中，該模塊采用卷積神經網絡構建圖像模型和文本模型，采用同質遷徙學習和混合遷徙學習訓練兩個模型，融合訓練后的圖像內容和說明文本兩種模態，多模態類別標簽標定圖像;將標定圖像傳輸到生成對抗網絡中，該網絡采用流行一致方法結合生成器生成的圖像和隱變量、真實圖像和編碼器獲取的圖像特征，將結合結果傳輸到鑒別器后采用循環交替優化方式訓練對抗網絡，輸出圖像類別標簽識別結果。經過實驗分析發現，該系統能跨模態識別出原始圖像中的花、電視圖像類別標簽，漢明損失數值均低于0.02，宏平均值高于0.97，系統跨模態識別圖像類別標簽效果好。

關鍵詞： 生成對抗網絡; 圖像類別標簽; 跨模態識別; 系統設計; 卷積神經網絡; 訓練模型

中圖分類號： TN926?34; TP391? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）08?0173?03

Design of cross?modal identification system for image category label in

generative adversarial networks

LIU Shangzheng， LIU Bin

（Nanyang Institute of Technology， Nanyang 473004， China）

Abstract： As the traditional image category label recognition system only can recognize the image category label with single mode， a cross?modal recognition system for the image category label in generative adversarial network is designed. The image to be identified is input into the multi?label calibration module of the cross?modal system， which constructs the image model and text model by means of the convolutional neural network， both models are trained by the homogeneous migration learning and hybrid migration learning. The two mode of trained image content and explanatory text of two modal category labels calibrate images are fused. The multi?mode category labels calibrate images， and transmit the calibrated images to the generative adversarial network， which combines the image generated by the generator with the hidden variables， real image and image feature obtained by the encoder by means of the popular consistent method. After the combined results are transmitted to the discriminator， the adversarial network is trained by means of the cyclic alternating optimization method to output the recognition results of the image category label. The experimental analysis results show that the system can cross?model recognize the flower and TV image category labels in the original image， the Hamming loss value is lower than 0.02， and the macro average value is higher than 0.97. The system cross?modal recognition of image category label effect is good.

Keywords： generative adversarial networks; image category label; cross?modal identification; system design; convolution neural network; training model

0? 引? 言

隨著科技不斷發展，海量圖像資源涌現，如何對其精準高效地歸類整理成為研究熱點[1]。圖像是一種多模態數據，而當前大部分學者主要采用單一模態識別方法，無法精準識別圖像類別標簽。因此本文采用跨模態方法識別圖像類別標簽，充分考慮圖像的多種模態特征[2]，將其作為識別圖像類別標簽的前提，提升圖像類別標簽識別精度。

跨模態標簽定位圖像后，需識別圖像類別標簽，選取具有較高識別率的方法識別圖像類別信息。查閱相關文獻發現，大部分學者采用生成對抗網絡識別圖像類別標簽并優化生成網絡[3]，其具有較強的模擬能力，能從簡單的隱變量中模擬產生復雜數據[4]。部分學者采用貝葉斯公式使生成對抗網絡保持半監督學習狀態，還有學者改變生成對抗網絡訓練誤差，依照數據不確定熵信息訓練生成對抗網絡中的分類器[5]。但上述改進方法沒有考慮從隱變量中提取圖像特征，而在生成對抗網絡中添加編碼器，可充分提取隱變量中的圖像特征，提升跨模態圖像類別標簽識別精度。

基于上述分析，本文設計一種生成對抗網絡圖像類別標簽跨模態識別系統，先采用跨模態表多標簽標定算法標定圖像類別標簽，再采用優化后的生成對抗網絡識別標定后的圖像類別標簽。

1? 跨模態識別系統設計

生成對抗網絡圖像類別標簽跨模態識別系統設計，主要包含跨模態標簽標定模塊和生成對抗網絡模塊。系統總體結構圖如圖1所示。

系統先將待識別圖像輸入跨模態多標簽標定模塊中，采用卷積神經網絡構建圖像模型和文本模型，其中通過同質遷徙學習獲取文本模型的預訓練網絡，依照預訓練網絡訓練文本模型[6]，通過同質遷徙學習和異質遷徙學習混合遷徙學習，獲取預訓練網絡，依照獲取的預訓練網絡訓練圖像模型，融合訓練后的圖像內容和說明文本兩種模態，多模態類別標簽標定圖像[7]，將標定后圖像傳輸到生成對抗網絡模塊中，通過該模塊處理標定后圖像，識別圖像類別標簽。

1.1? 跨模態多標簽標定模塊

多標簽遷徙模型由文本模型和圖像模型兩部分構成，采用跨模態標簽標定算法標定時，需采用相應方法構建圖像模型和文本模型。

1） 圖像模型。采用極深卷積神經網絡處理圖像模型，微調神經網絡結構，使其適應跨模態標簽標定算法。其中極深卷積網絡是一種深度殘差網絡，深度為50層。圖像模型中采用二元交叉熵損失函數[8]，將最后一層softMax替換成激活函數，激活函數的表達式如下：

式中：[sig（y）]用于估計圖像中每個標簽的相關后驗概率;[y]表示訓練集中的樣本。

2） 文本模型。需先收集所有文章的圖像說明文本，再采用相關工具訓練圖像文本說明，獲取詞向量詞典，采用卷積神經網絡訓練文本模型。卷積神經網絡由嵌入層、兩個全連接層、卷積層和全局最大池化層構成。其中嵌入層中包含詞向量詞典和采用訓練集解釋說明的文本，同構訓練層轉換輸入文本，將其轉變成詞向量形式，縮放處理句子長度[9]，將句子長度變成既定單詞數。訓練過程中采用同質遷徙學習方法，分類文字模型[10]。

1.2? 圖像類別標簽跨模態識別

經過實際調查分析發現，原始生成對抗網絡主要由生成器和鑒別器構成，如果想采用生成對抗網絡跨模態識別圖像類別標簽，需在網絡中添加一個提取特征的結構，即在生成對抗網絡中添加一個編碼器，作為生成結構的逆運算，通過既定訓練方式訓練編碼器，獲取圖像原始數據本質特征[11]，改進后的生成對抗網絡鑒別器不僅輸出圖像數據，且輸出對應的特征信息，達到跨模態識別圖像類別標簽的目的[12?13]。優化后生成對抗網絡損失函數，采用損失函數調整訓練方式，改善網絡學習能力[14]。優化后的生成對抗網絡結果如圖2所示。

生成對抗網絡先采用生成器映射隨機隱變量，獲取生成圖像，通過編碼器映射圖像庫中圖像獲取圖像特征，將生成圖像、真實圖像以及圖像對應的特征輸入到鑒別器中。輸入過程中采用流行一致方法，固定鑒別器采納數后，采用鑒別器判斷輸入是否是真實圖像數據。反向調整生成器和編碼器的參數，直到網絡收斂時不再調整參數，使生成圖像與數據庫中的圖像之間相似度較高，此時編碼器輸出圖像類別標簽識別結果。

2? 實驗分析

2.1? 系統識別圖像結果

為驗證本文系統圖像類別標簽識別效果，從圖庫中隨機選取一幅圖像進行識別測試，原始圖像和識別結果如圖3所示。

原始圖像中包含多個類別標簽，例如電視、桌子、燈和花等，本文系統能將其中的花、電視圖像類別標簽跨模態識別出來，說明本文系統能精準地跨模態識別出圖像類別標簽。

2.2? 分析識別效果

為驗證本文系統識別效果，需設置相應的評價指標，本文選取的評價指標為漢明損失、宏平均值。其中漢明損失表示誤識別次數，漢明損失數值范圍在0～1之間;宏平均值表示精度和召回率的調和平均，宏平均值數值范圍在0～1之間，宏平均值數值越大表示識別效果越好，統計所選圖像類別標簽跨模態識別結果，統計結果如表1所示。

從表1可以看出，本文系統識別所選圖像類別標簽的漢明損失數值均低于0.02，宏平均值高于0.97，識別時間在5～6 ms的范圍內，說明本文系統識別圖像類別標簽的誤識別次數較低，識別精度較好，識別時間短。

3? 結? 論

本文設計一種生成對抗網絡圖像類別標簽跨模態識別系統，通過生成對抗網絡識別圖像類別標簽。本文系統可通過較少的圖像標簽數據訓練得到識別效果較好的識別器，逆向利用生成器識別圖像類別標簽，使生成對抗網絡具備直接學習圖像本質特征的能力，減少處理過程中圖像信息損失程度，提升識別圖像類別標簽效果，使本文系統適用性較強，可應用于實際識別圖像類別標簽中。

注：本文通訊作者為劉斌。

參考文獻

[1] 于玉海，林鴻飛，孟佳娜，等.跨模態多標簽生物醫學圖像分類建模識別[J].中國圖象圖形學報，2018，23（6）：143?153.

[2] 李凱，彭亦功.基于生成對抗網絡的圖像識別改進方法[J].計算機工程與設計，2019，40（2）：199?202.

[3] 唐賢倫，杜一銘，劉雨微，等.基于條件深度卷積生成對抗網絡的圖像識別方法[J].自動化學報，2018，44（5）：90?99.

[4] 杜秋平，劉群.基于圖像云模型語義標注的條件生成對抗網絡[J].模式識別與人工智能，2018，31（4）：379?388.

[5] 陳文兵，管正雄，陳允杰.基于條件生成式對抗網絡的數據增強方法[J].計算機應用，2018，38（11）：259?265.

[6] 李幼軍，黃佳進，王海淵，等.基于SAE和LSTMRNN的多模態生理信號融合和情感識別研究[J].通信學報，2017，38（12）：109?120.

[7] 征察，吉立新，李邵梅，等.基于多模態信息融合的新聞圖像人臉標注[J].計算機應用，2017，37（10）：3006?3011.

[8] 李志欣，鄭永哲，張燦龍，等.結合深度特征與多標記分類的圖像語義標注[J].計算機輔助設計與圖形學學報，2018，30（2）：318?326.

[9] 趙樹陽，李建武.基于生成對抗網絡的低秩圖像生成方法[J].自動化學報，2018，44（5）：64?74.

[10] 李健偉，曲長文，彭書娟，等.基于生成對抗網絡和線上難例挖掘的SAR圖像艦船目標檢測[J].電子與信息學報，2019，41（1）：148?154.

[11] 劉玉杰，竇長紅，趙其魯，等.基于條件生成對抗網絡的手繪圖像檢索[J].計算機輔助設計與圖形學學報，2017，29（12）：2336?2342.

[12] 桑亮，高爽，尹增山.基于生成對抗網絡的運動模糊圖像復原[J].計算機工程與應用，2019（6）：173?177.

[13] 楊真真，匡楠，范露，等.基于卷積神經網絡的圖像分類算法綜述[J].信號處理，2018，34（12）：84?99.

[14] 楊懿男，齊林海，王紅，等.基于生成對抗網絡的小樣本數據生成技術研究[J].電力建設，2019，40（5）：71?77.